# 7.2~7.4.4
## 循環神經網路

循環神經網路在傳統神經網路中增加了「儲存/記憶單元」，讓神經元記住歷史資訊，使得循環神經網路可以記憶任意長度序列的的資訊。其中一個網路層，正向傳播計算公式如下：
$$\mathbf{z_h^{(t)}} = \mathbf{x^{(t)}} \mathbf{W_x} + \mathbf{h^{(t-1)}} \mathbf{W_h} + b^{(t)}$$
$$\mathbf{h^{(t)}} = g_h(\mathbf{z_h^{(t)}})$$
$$\mathbf{z_f^{(t)}} = \mathbf{h^{(t)}} \mathbf{W_f} + b_f^{(t)}$$
$$\mathbf{f^{(t)}} = g_o(\mathbf{z_f^{(t)}})$$

時間窗方法：短期記憶

循環神經網路：長期記憶

* 各種循環神經網路示意圖

## 反向傳播
令
$$L = L(f^{(1)},y^{(1)}) + L(f^{(2)},y^{(2)}) + ... + L(f^{(n)},y^{(n)})=\sum_{t=1}^n L^{(t)}$$
$$L^{(t-)} = \sum_{t'=t}^n L^{(t)}$$
反向傳播公式如下：
$$\frac{\partial L^{(t-)}}{\partial \mathbf{h}^{(t-1)}} = \frac{\partial L^{(t)}}{\partial \mathbf{z}_h^{(t)}} \cdot \mathbf{W}_h^T$$
$$\frac{\partial L}{\partial \mathbf{W}_h} =\sum_{t=1}^n \mathbf{h}^{(t-1){^T}} \frac{\partial L^{(t-)}}{\partial \mathbf{z}_h^{(t)}}$$
$$\frac{\partial L}{\partial \mathbf{W}_x} =\sum_{t=1}^n \mathbf{x}^{(t)^{T}} \frac{\partial L^{(t-)}}{\partial \mathbf{z}_h^{(t)}}$$
示意圖：


[循環神經網路程式](https://github.com/WingSyncAlgorithm/Book/blob/main/%E6%89%93%E4%B8%8B%E6%9C%80%E7%B4%AE%E5%AF%A6AI%E5%9F%BA%E7%A4%8E%E4%B8%8D%E4%BE%9D%E8%B3%B4%E5%A5%97%E4%BB%B6%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF/%E7%A8%8B%E5%BC%8F/7.4.1~7.4.4_%E5%BE%AA%E7%92%B0%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF.py)

## 問題
1.RNN的特色?
2.RNN的種類?
3.RNN遇到的問題?
### 答
1.用到過去的output
2.one to many，many to one，many to many
3.梯度消失(爆炸)問題