 # 7.7.4~7.9.1 ## LSTM變種 ### Phase LSTM 解決不同維度的特徵,週期不一致的問題   [參考文獻](https://proceedings.neurips.cc/paper_files/paper/2016/file/5bce843dd76db8c939d5323dd3e54ec9-Paper.pdf) ### Peephole LSTM 增加窺視孔連接,允許各個門可以直接訪問元胞狀態,改進的記憶能力和對時間序列中細節的敏感性,特別適合於需要細緻時間建模的任務,如語音識別、時序數據預測等領域。  ### Grid LSTM 這種模型最初是為了在多個維度上處理復雜的序列問題而設計的,例如,同時處理時間序列和空間序列數據。例如,在處理視頻數據時,一個維度可以是時間(用於捕捉動作和變化),另一個維度可以是空間(用於處理圖像的空間特徵)。Grid LSTM能夠同時在這兩個維度上學習模式,從而更有效地進行視頻分析。 ## 門控循環單元(GRU) $$\boldsymbol{R}_t=\sigma\left(\boldsymbol{X}_t \boldsymbol{W}_{x r}+\boldsymbol{H}_{t-1} \boldsymbol{W}_{h r}+b_r\right)$$ $$\boldsymbol{U}_t=\sigma\left(\boldsymbol{X}_t \boldsymbol{W}_{x u}+\boldsymbol{H}_{t-1} \boldsymbol{W}_{h u}+b_u\right)$$ $$ \widetilde{\boldsymbol{H}}_t=\tanh \left(\boldsymbol{X}_t \boldsymbol{W}_{x h}+\left(\boldsymbol{R}_t \odot \boldsymbol{H}_{t-1}\right) \boldsymbol{W}_{h h}+b_h\right) $$ $$ \boldsymbol{H}_t=\boldsymbol{U}_t \odot \boldsymbol{H}_{t-1}+\left(1-\boldsymbol{U}_t\right) \odot \widetilde{\boldsymbol{H}}_t $$  問題: 1.Phase LSTM 如何解決不同維度特徵週期不一致的問題? 2.Peephole LSTM 增加窺視孔連接的目的是什麼?
×
Sign in
Email
Password
Forgot password
or
By clicking below, you agree to our
terms of service
.
Sign in via Facebook
Sign in via Twitter
Sign in via GitHub
Sign in via Dropbox
Sign in with Wallet
Wallet (
)
Connect another wallet
New to HackMD?
Sign up