---
# System prepended metadata

title: Classification (Generative Model)
tags: [李宏毅]

---

Classification (Generative Model)
===

###### tags: `李宏毅`

## 課程資訊
* [Youtube](https://www.youtube.com/watch?v=fZAZUYEeIMg&ab_channel=Hung-yiLee)
* [PDF](https://drive.google.com/file/d/1-ntkF77KmsABx9g9WbuMWE1dve8Nb-l7/view?usp=sharing)

## 實作步驟
1. 定義 Function
2. Loss Function
3. 找到 Best Function

![](https://i.imgur.com/7K7P81l.png)


### Prior
根據已知的事情算 $P(C_1)$ 和 $P(C_2)$。
![](https://i.imgur.com/a1h4tjX.png)


### Maximum Likelihood
假設機率分布是 Gaussian Distribution，它由 mean μ 和 Covariance Matrix Σ 表示。 
![](https://i.imgur.com/vrApHOP.png)

這會變成每個點都有可能性被預測對，只是大小問題，因此目標就會變成最大化 Likelihood Function。
![](https://i.imgur.com/YM28ynW.png)


所以目標就是要找到 $μ^*$、$Σ^*$ 取得 Maximum Likelihood，而這是可以直接解的，如下圖。
![](https://i.imgur.com/ryWqjUn.png)


### Classification
最後把取得的 Prior 和 Maximum Likelihood 根據機率算出 $P(C_1|x)$。
![](https://i.imgur.com/XYQbk2n.png)


### Posterior Probability
把剛剛取得的 $P(C_1|x)$ 再轉換成 Sigmoid Function 的形式，如下圖。
![](https://i.imgur.com/llDJMnM.png)


問題變成 z 會是什麼樣子，z 最後可以化簡成如下圖。那為什麼最終都會變成找 w、b，前面還要算這麼多呢?
![](https://i.imgur.com/pGakOot.png)