###### tags: `人工智慧`
###### Lectured by Yun-Nung Vivian Chen 陳縕儂 @ NTU CSIE
###### 個人用筆記

# 1. 深度學習介紹

# 電腦會做甚麼？

電腦只會做你要它做的事情，並不會突然做其他事情！所以人工智慧並不會摧毀人類啦😁

## 使用機器學習處理問題

## 預測句子的情緒

我們可以機器學習來處理這類型的問題，把句子當成輸入，情緒反應是輸出。並且把這個過程想像是在解數學方程式一樣。將 **x(句子)** 放進 **f(機器學習函式)** 並且產生出 **y(情緒反應)** 。這個函式我們人不用去想要怎麼制定，讓電腦程式自己學習就好。

我喜歡這個產品 > 正向
這產品用起來太麻煩了 > 負面
他有一點點貴 > 中性

## 機器學習就是在找一個方程式

* 語音辨識，輸出 "你好"
* 手寫辨識，輸出 "2"
* 天氣預報
利用昨天天氣 
產生出 今天天氣 

## 機器學習過程
輸入 x: "it claims too much."
輸出 y: -(negative)，y又稱label。
1. 將資料輸入進來，並做處理，形成 **Training Data** 。
2. 建立內涵有許多預設函式的 **Model** 。
3. 開始進行 **Traning** ，想辦法找出最適合的函式。
4. 找到後即可輸出 **Best Function**
5. 準備 **Testing Data** 資料。
6. 將資料進行 **Testing** 驗證步驟4的函式準確度是否足夠。


---

# 何謂深度學習？

## 使用多層函式的機器學習
因為當初的時代背景，**電腦運算能力有限**，所以 Model 裡的函式通常**只有一個**，需要透過專家先將資料進行進階處理，才能將資料餵給電腦運算。電腦在針對這些處理好的資料，來找出特徵，並且產出相對應的函式。

深度學習是機器學習的一種，因為電腦運算能力的提升，所以 Model 裡的函示可以變成很多層。一層一層慢慢找出特徵，在給出最終的結果。因為特徵是讓電腦使用一些預設的方法，慢慢窮舉所找出來，所以一般人也可以輕鬆做出深度學習的程式。


## 深度學習過程
深度學習又稱類神經網路，因為其模型長相跟人類的神經元很類似。

我們只需將資料 X ，轉換成模型可以讀懂的格式，中間的隱藏層會自動去找出特徵，經過一輪運算後，會輸出結果 Y。

## 深度學習Model VS 機器學習Model的差別圖

機器模型Shallow Model，其中綠色的部分，都是需要透過專家將資料進行轉換的部分。
深度學習Deep Model，全部都可以讓電腦自己學，所以**資料量自然而然就要更多**。

### 聲音辨識

### 圖像辨識

## 類神經網路
前面有提到深度學習，就像是人類的神經一樣。人類的神經是由**神經元**以及**樹突**所組成的。
神經元就是圖中形狀為圓形的細胞。樹突就是細細長長用來連接神經元的部分。

類神經網路就是模仿人類神經所衍生出來的。
其中藍色圓形的部分就代表神經元，連接的線就是樹突。
綠色代表輸入層，黃色代表輸出層。

## 電腦中的神經元長怎樣？
左邊的橘色部分所需要處理**資料**，這些資料需要乘上一個**weight權重**，然後再加上**bias誤差**，最後經過一個**Activation Function**激勵函式。

Sigmoid Function: 可以將數值變成0~1之間的數字。

## 深度學習歷史
* 1960 感知器模型(單層神經網路)
* 1969 感知器模組，會有限制。
* 1980 多層感知器模型(2層)
* 1986 反向傳播演算法
* 1989 為什麼還要那麼多層?
* 2006 RBM(restricted Boltzmann machine, 受限玻爾茲曼機)技術突破
* 2009 圖像運算卡
* 2010 語音辨識技術突破
* 2012 ImageNet專案技術突破
* 2015 超人類在影像與語音辨識上有成果


## 為什麼深度學習近年來快速成長
因為全部的資訊都是機器自己學習的，所以資料量一定要夠！在行動裝置普及後，資料量才巨量增加，加上圖形運算卡的出現，所以深度學習才開始蓬勃發展。

## 為什麼GPU跟深度運算那麼合?
奇談:GPU就像人腦一樣，需要大量運算有關圖形的東西，像是想像食物的照片之類的。

## 速度重要嗎?
速度很重要，資料量越大，訓練時間就越久，時間太長在實際應用上就很難起到作用。
如果運算速度太慢，使用者通常也沒耐心等待。

## 為什麼要「深」？
普遍的模型是長這樣，一層(shallow)，或多層(deep)。資料量如果都相同，為什麼不能放在同一層?讓深度變成寬度?

如果以一層為 n 個神經元為主
* 以深度為優先，建構兩層的模型，複雜度就會是 d * d也就是d²。
* 以寬度為優先，建構一層模型，複雜度就是 2 * d 也就是 2d。

同樣的資料量下，複雜度越高，所能表現出來的答案也就越精細。

在同樣參數的情況下，藍色一層的準確度，明顯比灰色三層的準確度低。

# 如何應用?

## Classification 分類
* Sentiment Analysis 情緒分析
* Speech Phoneme Recognition 音位辨識
* Handwritten Recognition 手寫辨識
## Sequence Prediction 序列預測
* POS Tagging 詞性標記
* Speech Recognition 語音辨識
* Machine Translation 翻譯

## 如何聚合資料?
要考慮的面相，輸入類型，資料特性等等
輸入類型可以是:文字、照片、聲音、或是日誌檔(可用來做推薦系統)
資料特性可能是:持續性資料、時態資料。

* CNN(Convolutional neural network)卷積神經網路，可以用來做圖片的判斷。
* RNN(Recurrent neural network) 循環神經網路，可用來做時態資訊判斷。

# 參考
台大資訊 深度學習之應用 ADL 1.1 ~ 1.3
* [ADL 1.1: What is ML? 甚麼是機器學習?](https://www.youtube.com/watch?v=ONWbL9rr9Sc)
* [ADL 1.2: What is DL? 甚麼是深度學習?](https://www.youtube.com/watch?v=Hgtf0912_Ew)
* [ADL 1.3: How to Apply? 如何應用深度學習?](https://www.youtube.com/watch?v=lxa3-NpXLxU)

Deep Learning
* [Goodfellow, Bengio and Courville, "Deep Learning", 2016](https://www.deeplearningbook.org/)
* [Michael Nielsen, "Neural Networks and Deep Learning"](http://neuralnetworksanddeeplearning.com/)