# RNN 筆記 - 損失函數與反向傳遞演算法
Ref 吳尚鴻教授上課影片 from Youtube: https://www.youtube.com/watch?v=2btuy_-Fw3c&list=PLlPcwHqLqJDkVO0zHMqswX1jA9Xw7OSOK

Ref LaTeX Math Symbols: http://web.ift.uib.no/Teori/KURS/WRK/TeX/symALL.html

本篇討論 RNN 是怎麼 train 的！
## Cost Function of Vanilla RNNs

- Parameters to learn: ${\Theta = \{ W^{(k)}, U^{(k)}\}_k}$
(bias terms omitted)

- Maximum likelihood:
${argmin_{\Theta}C(\Theta) \\= argmin_{\Theta}-logP(X|\Theta)
\\= argmin_{\Theta}-\sum_{n,t}logP(y^{(n,t)}|x^{(n,t)},...,x^{(n,1)},\Theta) \\=argmin_{\Theta}-\sum_{(n,t)}C^{(n,t)}
(\Theta) }$
- $y^{(t)}$ depends only on $x^{(1)},x^{(2)},...,x^{(t)}$

C 代表 Cost 作為神經網路的 Loss function
這個 Loss function 除了看不同的 data point "n" 以外，也要看時間維度上不同的 "t" 來計算

P 代表 Probability 是一個 on given Weight $\Theta$ 的條件下的條件機率

**Cost function 跟一般的 NN 使用的差異不大，只是多了一個時間維度 t**

## Backpropogation Through Time (BPTT)

SGD: 先隨機猜參數 "Theta" 然後去計算 partial sum of Losses 乘以 Learning Rate "eta" 再去更新參數

$\Theta^{(s+1)} \leftarrow \Theta^{(s)} - \eta\bigtriangledown_\Theta\sum_{(n,t)}C^{(n,t)}(\Theta^{(s)})$

為求簡化 notation of Loss 的表示法，改以 c 來表示如下:

$c^{(n,t)} = C^{(n,t)}(\Theta^{(s)})$

目標是去計算

$\dfrac{\partial{c^{(n,t)}}}{\partial{U_{i,j}^{(k)}}}$ and $\dfrac{\partial{c^{(n,t)}}}{\partial{W_{i,j}^{(k)}}}$

複習一下參數的定義:
U 影響的是時間維度的 gradient
W 影響的是神經網路"層與層之間"空間維度的 gradient

W 部分跟一般的神經網路相同，先不贅述
這次我們要特別來探討 U 上面的 error signal

在 **forward pass** 的階段:
除了原本就有的網路架構上 forward pass 之外，多了 "Forward Pass Through Time"

We can get all second term starting from the most shallow layer and ==earliest time==

同理
Backward Pass 的階段也多了 "Backward Pass Through Time"


上圖中
- 藍色部分: 目前層的 a 會影響到深一層的所有 z
$a^{(k,t)}$ 會影響到 $a^{(k+1,t)}$
- 紅色部分: 目前層的 a 會影響到同一層，但在下一個時間的所有 z
$a^{(k,t)}$ 會影響到 $a^{(k,t+1)}$

化簡式子:
結論:
- 把所有深層的 W 跟 error signal 算好，然後從深層走回淺層
- 把所有最新時間點的 U 跟 error signal 算好，然後從最新時間點往回走

把以上兩者結果相加後，經過 activation function 微分後的 gradient 值，即為該神經元更新參數之依據

實務上，對於同一個 sequence n 來講
forward pass 可以 shared
forward pass: 從左下走到右上
對於每一個時間點的 Loss 都可以分別算 error signal
時間點 1 的 error signal 沿著綠色走
時間點 2 的 error signal 沿著藍色走
時間點 3 的 error signal 沿著紅色走
backward pass 全部算出來後:
對於 W(1) 來講，把三個 error signal 全部加起來，乘上 forward pass 算出的結果，得到對於整個 sequence 需更新的參數組合