Why Deep?

比較deep和shallow model

• 比較有著一樣多參數的deep和shallow model，可以發現deep的performance較好

deep model比較好，為什麼?

1.情境1

• 從圖中可以發現長頭髮的男生data比較少，造成detect長髮男的performance較差

2.情境2

• 若是換個方式，把原來的問題切成比較小的問題，去learn一些classifiers去detect某種特徵地出現。
• 以上圖為例，雖然長髮男生少，但男生和女生的資料足夠多。雖然長髮男生少，但長髮和短髮的data是足夠多的。

3.Modularization 模組化

• 每個classifier會去參考到basic classifier的結果

4.Deep與模組化

• deep的第一層為最basic的classifier，而後的每層layer會把前一層當成input的module
• 而deep learning中做出模組化是machine自動學從data到的
• 當deep是模組化，把問題變簡單了，可以發現需要的train data是需要比較少的，因此deep learning並不是big data

語音

• deep learning在影像和語音上表現特別好

過去的HMM-GMM

• 使用GMM描述分布的機率
• 問題:tri-phone太多了，每個state也都要用一個GMM描述(也有部分共用的方法)
• 沒有效的原因:所有的phone或state會被當作independent，但實際上它們之間是有相關性的，不是independent的

DNN(deep learning)

• 所有state都共用一個DNN
• 能有效率的使用參數(由於發音的特性)

End-to-end Learning

• 只給model input、output讓他自己學習每個步驟
• 當我們要處理一個很複雜的問題時，就可以使用deep learning，疊一個很深的network去做分工學習

圖像化比喻Deep learning

tags: ML2020