![IMG_4085](https://hackmd.io/_uploads/ryruFeLET.jpg) # 7.7.4~7.9.1 ## LSTM變種 ### Phase LSTM 解決不同維度的特徵,週期不一致的問題 ![Phased LSTM_ Accelerating Recurrent Network Training for Long or Event-based Sequences - Google Chrome 2023_11_18 下午 04_17_42](https://hackmd.io/_uploads/ryHJ4lIET.png) ![Phased LSTM_ Accelerating Recurrent Network Training for Long or Event-based Sequences - Google Chrome 2023_11_18 下午 04_23_52](https://hackmd.io/_uploads/Hy6C4gIVp.png) [參考文獻](https://proceedings.neurips.cc/paper_files/paper/2016/file/5bce843dd76db8c939d5323dd3e54ec9-Paper.pdf) ### Peephole LSTM 增加窺視孔連接,允許各個門可以直接訪問元胞狀態,改進的記憶能力和對時間序列中細節的敏感性,特別適合於需要細緻時間建模的任務,如語音識別、時序數據預測等領域。 ![IMG_4087](https://hackmd.io/_uploads/HJqs9gI46.jpg) ### Grid LSTM 這種模型最初是為了在多個維度上處理復雜的序列問題而設計的,例如,同時處理時間序列和空間序列數據。例如,在處理視頻數據時,一個維度可以是時間(用於捕捉動作和變化),另一個維度可以是空間(用於處理圖像的空間特徵)。Grid LSTM能夠同時在這兩個維度上學習模式,從而更有效地進行視頻分析。 ## 門控循環單元(GRU) $$\boldsymbol{R}_t=\sigma\left(\boldsymbol{X}_t \boldsymbol{W}_{x r}+\boldsymbol{H}_{t-1} \boldsymbol{W}_{h r}+b_r\right)$$ $$\boldsymbol{U}_t=\sigma\left(\boldsymbol{X}_t \boldsymbol{W}_{x u}+\boldsymbol{H}_{t-1} \boldsymbol{W}_{h u}+b_u\right)$$ $$ \widetilde{\boldsymbol{H}}_t=\tanh \left(\boldsymbol{X}_t \boldsymbol{W}_{x h}+\left(\boldsymbol{R}_t \odot \boldsymbol{H}_{t-1}\right) \boldsymbol{W}_{h h}+b_h\right) $$ $$ \boldsymbol{H}_t=\boldsymbol{U}_t \odot \boldsymbol{H}_{t-1}+\left(1-\boldsymbol{U}_t\right) \odot \widetilde{\boldsymbol{H}}_t $$ ![IMG_4086](https://hackmd.io/_uploads/rkEh9gLNa.jpg) 問題: 1.Phase LSTM 如何解決不同維度特徵週期不一致的問題? 2.Peephole LSTM 增加窺視孔連接的目的是什麼?