拉格朗日乘數是用來解最佳化的一種方法 簡單來說，當我今天有一函數 $f(x,y)$ 和一個限制條件 $g(x,y)=0$ <font color=red>要求滿足 $g$ 條件在 $f$ 的極值，也可以看成是求 $g$,$f$ 相交面的極值</font>，就可用拉格朗日乘數求解  1. 求解方法 要求出兩函數相交的極值，就必須先找出兩者之間的關係 假設兩函數在相交的切線上為以下函數 :::info

Ch1 1-1 :::info 類比影像連續空間 Data 用亮度(強度 intensity)表示，值介於 0-1 數位影像 離散空間 Data

其他人的整理 AI 專業 台大 -----------------------------------------------台大網媒所 台大資料科學學程 台大電信丙 成大 ----------------------------------------------- 成大資工

簡介 反向傳播算法 (BPP) 是拿來計算梯度、更新神經網路參數的方法 在之前我們知道該怎麼更新 linear regression 的參數 也就是計算 loss 的梯度並更新權重 $$w^1 \leftarrow w^0 - \eta * \frac{\partial{L}}{\partial{w}}$$ 那神經網路我們可以看成是由多個 linear regression 所組成 ( 加上 Activation funciton ) ( 詳情可見:從 Linear Regression 到神經網路 ) 也就是有很多的權重 w 要計算，

天下雜誌 : 永續發展 臺灣永續發展目標 外來(入侵)種鳥類分布預測 利用 AI 預測某入侵種鳥類，可能的分布或未來的分布， 以提早預防入侵種的擴散 訓練會用到 "地域資料" "鳥類分布與特徵資料"

監督式學習 : 有對應標註資料的模型訓練 ex : 回歸預測 回歸分類 SVM 半監督式學習 : 先用未標註資料進行非監督式學習 ( 75% 資料 )，再用標註資料 ( 25 % ) 進行訓練 ( 等於是對 model 內已分群好的資料進行標註 )

Markov Chain 常被用來描述一連串相關事件中，兩個狀態(事件)之間的轉換 而 HMM 隱藏馬可夫模型就是其延伸 1. Markov Chain - 定義 Markov Chain 是一連串的事件串接而成，在相關的事件當中會有其轉換的機率值 也就是狀態轉換的機率 # 以下所說的 [事件] 與 [狀態] 皆相同

:::info 問題介紹 當今天有兩序列資料 "test pattern"、"Template" 要做對照比較 並找出其相似的最小路徑，會計算 node 和 node 之間的資料"距離"，並進行優化 Distance 定義 : $$d(i_k,j_k\ |\ i_{k-1},j_{k-1})$$ 總和 Distance 定義 $$D=\sum{d(i_k,j_k\ |\ i_{k-1},j_{k-1})}$$

{%hackmd @kk6333/theme-sty1 %} 1. 遞迴文法 利用遞迴文法，可以方便設定遞迴的中止條件 而文法的定義，要依照執行的任務作出篩選 - 文法符號 <x> |<y> : 條件 <x> or <y> <x><y> or <x>*<y> : <x> 接在 <y> 的前面

1. Intro & Hypothesis Testing Hypothesis Testing PPT 2. Class Separability Measure 除了 Hypothesis Testing 可以量測出資料分布的差距， 也可以使用 Divergency 來量測不同 Class 間資料的差距 量測原理是加總了所有 ( KL ) Divergence 並乘上個別 Class 的機率值

{%hackmd @kk6333/theme-sty1 %} 本文想探討神經網路 Neuron 節點，在非線性數據分布的分類影響 1. 二維到二維 當今天要分類的 data 是非線性分布， 只用一條 linear 線是無法做出分類的，所以一條不行就用兩條 ! Ex :

{%hackmd @kk6333/theme-sty1 %} 觀念 Linked List 是一種使用 Node (節點) 組合而成的資料結構，可以方便動態配置儲存資料 其主要包含三個部分 head : 指向 Linked List 開頭的指標 node : 儲存資料的區域 tail : Linked List 的尾巴，通常指向 NULL

{%hackmd @kk6333/theme-sty1 %} 本篇想探討神經網路的 Layer 層數對線性分類的影響 and 重要性 ~ 單層 Hidden Layer 的問題 :::success 延續 非線性分類 - 神經網路 Neuron 與資料維度的 Mapping 所說的結論 可以使用多個 neuron 將資料 Mapping 到更高的維度做他的 HyperPlane 來分類 但當我們到更高維度時卻還有一個問題

{%hackmd @kk6333/theme-sty1 %} 遞迴 遞迴是利用重複呼叫函數來達成目的 需要有幾項設定 base line : 為遞迴的中止條件 相同函數呼叫 : 顧名思義 這邊簡單寫一個加成遞迴，在 num >= 3 時會跳出遞迴函數

{%hackmd @kk6333/theme-sty1 %} 1. 觀念簡介 資料模組化 將每個功能分開獨立運作 ex : 排序 Data 問題可拆成 Main 儲存 Data

{%hackmd @kk6333/theme-sty1 %} 在神經網路未開始流行時，SVM 可謂最流行的機器學習演算法 因為其有著良好的統計理論解釋性，所以廣受眾人喜愛 1. 演算法定義 SVM 與線性回歸有所相似，可以把 SVM 想成是一條線性回歸稱 HyperPlane， 並從 HyperPlane 向兩邊延伸出另外兩條相同的回歸線，線之間的距離稱為 Margin 利用此二回歸線便可將 Data 分類 ( 這裡是二分類 )

{%hackmd @kk6333/theme-sty1 %} :warning: 本文是看過眾多教學後，覺得最好理解的版本，如果有不嚴謹的地方歡迎指教 ~ 很多 ML 初學者(Me) 一定都有聽過 CrossEntrophy ，甚至知道他的計算原理 這邊有我看過的一篇文章講的還蠻好理解的 - "文章連結" 但本文想從另一個角度 KL Divergence 切回 CrossEntrophy 這樣可以更直觀看待 loss 的意義，且 Divergence 一詞在 GAN 也會常看到 (我也是遇到了才知道...) 先簡單提一下， Divergence 可以被看作是一種機率分布的"差異"，

{%hackmd @kk6333/theme-sty1 %} KK 的筆記 menu Pytorch 筆記 Pytorch 筆記 : Pytorch vs Numpy Pytorch 筆記 : 偏微分 ( 自動維分 ) Pytorch 筆記 : Dataset & DataLoader Pytorch 筆記 : 建構神經網路、訓練

{%hackmd @kk6333/theme-sty1 %} 在之前 "KL Divergence & CrossEntrophy 的真面目"中提過了 KL Divergence 也有講到 KL Divergence 有非對稱的性質， 也就是 $D_{KL}(P||Q) \neq D_{KL}(Q||P)$ 這時就出現了 JS Divergence 來解決此非對稱性 1. JS Divergence 推導 JS Divergence 的想法非常簡單，如果 $(P||Q)$ 的差距和 $(Q||P)$ 差距不同

{%hackmd @kk6333/theme-sty1 %} 貝氏分類器是一個很經典的傳統機器學習方法， 利用統計中的"貝式定理"來做分類 1. 貝氏定理 Bayes' theorem 貝氏定理是統計中的一個重要的理論， 用以描述條件機率 $P(A|B)$ 與 $P(B|A)$ 之間的關係 ( 如果你學過統計那你應該知道此二機率不同 ) 關係如下