# 人人都能看懂的LSTM ###### tags:`學習紀錄` [toc] --- ## Before Meeting :::success - 从RNN说起 - 循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题 ::: [refer]() [refer]() [refer]() --- ## Recent Paper --- ### :::success #### Abstracion - 普通RNN - ![](https://i.imgur.com/DmwVMQL.png) - ![](https://i.imgur.com/mn45M9i.png) - ![](https://i.imgur.com/IirjqSW.png) ::: :::info #### Detail - LSTM - 长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。 - ![](https://i.imgur.com/3DWPo5L.png) - ![](https://i.imgur.com/FfcDWRL.png) - 深入LSTM结构 - ![](https://i.imgur.com/Vqma4Ya.png) - ![](https://i.imgur.com/oMeL1uC.png) - ![](https://i.imgur.com/OTJUOSE.png) ::: :::warning #### Conclusion - 以上,就是LSTM的内部结构。通过门控状态来控制传输状态,记住需要长时间记忆的,忘记不重要的信息;而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说,尤其好用。 - 但也因为引入了很多内容,导致参数变多,也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型 ::: [refer]() --- :::success #### Abstracion ::: :::info #### Detail ::: :::warning #### Conclusion ::: [refer]() ---