# Classification
- Regression Model會懲罰output太大的點，往往會得到不好的結果
- Regression在處理MultiClass問題時，會出現類別間關係誰進誰遠的問題

- One-hot vector可以避免出現類別之間距離誰近誰遠的問題
- Regression輸出為數值，Classification輸出為向量
- Classification通常在最後一步多做softmax，讓所有數值介在0~1(Normalization)
- Softmax將所有output取exponential，會將很正的數值放大，很負的數值忽略
- 對Binary classification來說，Softmax和Sigmoid是等價的

- Cross-entropy作為Classification的Loss function時能避免Loss大時gradient過小的問題
- Cross-entropy可以微分
- 最小化cross-entropy等同於最大化likelihood

參考資料