Long-Short Term Memory (LSTM)

# Long-Short Term Memory (LSTM) :::warning :notebook_with_decorative_cover: **摘要** [toc] ::: $$ \{\boldsymbol{x}: x_t \forall t=1,\cdots,T \} $$ # LSTM Cell 結構 LSTM的架構主要由以下五個元件所組成： - 單元狀態(cell state)：LSTM的**內部單元狀態**($c$)，負責儲存先前的記憶 - 隱藏狀態(hidden state)：LSTM的**外部隱藏狀態**($h$)，負責計算預測結果 - 輸入閘(input gate)：用來決定要把多少當期輸入($x_t$)送進當期單元狀態($c_t$)。 - 當期輸入($x_t$)會先被轉換成候選值($\tilde{c_t}$)。 - 遺忘閘(forget gate)：用來決定要把多少前期單元狀態($c_{t-1}$)送進當期單元狀態($c_t$)。 - 輸出閘(output gate)：用來決定要把多少當期單元狀態($c_t$)輸出到當期隱藏狀態($h_t$) 相關式子如下： $$ \color{red}{i_t} = \sigma(\color{red}{W_{ix}}x_t + \color{red}{W_{ih}}h_{t-1} + \color{red}{b_i}) $$ $$ \color{blue}{f_t} = \sigma(\color{blue}{W_{fx}}x_t + \color{blue}{W_{fh}}h_{t-1} + \color{blue}{b_f}) $$ $$ \color{darkorange}{o_t} = \sigma(\color{darkorange}{W_{ox}}x_t + \color{darkorange}{W_{ot}}h_{t-1} + \color{darkorange}{b_o}) $$ $$ \color{green}{\tilde{c_t}} = \tanh(\color{green}{W_{cx}}x_t + \color{green}{W_{ch}}h_{t-1} + \color{green}{b_c}) $$ $$ \sigma(\cdot) = \dfrac{1}{1+e^{-x}} $$ $$ \color{purple}{c_t} = \color{blue}{f_t} \color{purple}{c_{t-1}} + \color{red}{i_t}\color{green}{\tilde{c_t}} $$ $$ \color{brown}{h_t} = \color{darkorange}{o_t}\tanh(\color{purple}{c_t}) $$ 圖形表示如下： ![](https://www.researchgate.net/profile/Xiaofeng_Yuan4/publication/331421650/figure/fig2/AS:771405641695233@1560928845927/The-structure-of-the-LSTM-unit.png) # 改善表現的小技巧 - 貪婪取樣(greedy sampling)：尋找機率值最高的前 k 個候選項 - 束搜尋(beam search)：往下 m 個 timestep 尋找 - 雙向LSTM - peehole connection：偷看前幾 ###### tags: `DL`