Long-Short Term Memory (LSTM)

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

摘要

Long-Short Term Memory (LSTM)
LSTM Cell 結構
改善表現的小技巧

{x : x_{t} \forall t = 1, \dots, T}

LSTM Cell 結構

LSTM的架構主要由以下五個元件所組成：

單元狀態(cell state)：LSTM的內部單元狀態(
$c$ )，負責儲存先前的記憶
隱藏狀態(hidden state)：LSTM的外部隱藏狀態(
$h$ )，負責計算預測結果
輸入閘(input gate)：用來決定要把多少當期輸入(
$x_{t}$ )送進當期單元狀態(
$c_{t}$ )。
- 當期輸入(
  $x_{t}$ )會先被轉換成候選值(
  $\tilde{c_{t}}$ )。
遺忘閘(forget gate)：用來決定要把多少前期單元狀態(
$c_{t - 1}$ )送進當期單元狀態(
$c_{t}$ )。
輸出閘(output gate)：用來決定要把多少當期單元狀態(
$c_{t}$ )輸出到當期隱藏狀態(
$h_{t}$ )

相關式子如下：

\color r e d i_{t} = σ (\color r e d W_{i x} x_{t} + \color r e d W_{i h} h_{t - 1} + \color r e d b_{i})

\color b l u e f_{t} = σ (\color b l u e W_{f x} x_{t} + \color b l u e W_{f h} h_{t - 1} + \color b l u e b_{f})

\color d a r k o r a n g e o_{t} = σ (\color d a r k o r a n g e W_{o x} x_{t} + \color d a r k o r a n g e W_{o t} h_{t - 1} + \color d a r k o r a n g e b_{o})

\color g r e e n \tilde{c_{t}} = \tanh (\color g r e e n W_{c x} x_{t} + \color g r e e n W_{c h} h_{t - 1} + \color g r e e n b_{c})

σ (\cdot) = \frac{1}{1 + e^{- x}}

\color p u r p l e c_{t} = \color b l u e f_{t} \color p u r p l e c_{t - 1} + \color r e d i_{t} \color g r e e n \tilde{c_{t}}

\color b r o w n h_{t} = \color d a r k o r a n g e o_{t} \tanh (\color p u r p l e c_{t})

圖形表示如下：

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

改善表現的小技巧

貪婪取樣(greedy sampling)：尋找機率值最高的前 k 個候選項
束搜尋(beam search)：往下 m 個 timestep 尋找
雙向LSTM
peehole connection：偷看前幾

tags: `DL`