Classification (Generative Model)
===

###### tags: `李宏毅`

## 課程資訊
* [Youtube](https://www.youtube.com/watch?v=fZAZUYEeIMg&ab_channel=Hung-yiLee)
* [PDF](https://drive.google.com/file/d/1-ntkF77KmsABx9g9WbuMWE1dve8Nb-l7/view?usp=sharing)

## 實作步驟
1. 定義 Function
2. Loss Function
3. 找到 Best Function


### Prior
根據已知的事情算 $P(C_1)$ 和 $P(C_2)$。

### Maximum Likelihood
假設機率分布是 Gaussian Distribution，它由 mean μ 和 Covariance Matrix Σ 表示。

這會變成每個點都有可能性被預測對，只是大小問題，因此目標就會變成最大化 Likelihood Function。

所以目標就是要找到 $μ^*$、$Σ^*$ 取得 Maximum Likelihood，而這是可以直接解的，如下圖。

### Classification
最後把取得的 Prior 和 Maximum Likelihood 根據機率算出 $P(C_1|x)$。

### Posterior Probability
把剛剛取得的 $P(C_1|x)$ 再轉換成 Sigmoid Function 的形式，如下圖。

問題變成 z 會是什麼樣子，z 最後可以化簡成如下圖。那為什麼最終都會變成找 w、b，前面還要算這麼多呢?