本文共 925 字，大约阅读时间需要 3 分钟。

• RNN(Recurrent Neural Network)

  思想具有持久性，当前的认知是以过往认知为基础的，RNN是包含循环的网络，允许信息的持久化。

  RNN可以看作是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。

  

  这种链式特征揭示了RNN本质上是与序列和列表相关的，他们是对于这类数据的最自然的神经网络架构。

  RNN现实应用广泛： 这篇文章展示了许多有趣的应用。

  广泛应用的关键之处就是LSTM（一种特别的RNN）的使用，几乎所有令人振奋的关于RNN的结果都是通过LSTM达到的。

• LSTM(Long Short-Term Memory)

  • Long-Term Dependencies长期依赖问题

    RNN的关键优点就是可以将先前的信息连接到当前任务上。（有点Bayes的味道）

    当前任务与关联的先前信息之间存在一个位置间隔。如果这个间隔不是很远，则RNN效果比较容易出现，相反，如果这个位置间隔较长，则RNN连接先验的能力就不明显了。

    理论上，即便较远也可以找到一个较好的RNN模型，不过现实中基本不可用，等人找到了一些深层的理论解释。

  • LSTM（Long Short Term网络）

    LSTM就不受此困扰。作为一种RNN的特殊变体，可以学习长期依赖信息（间隔较长）。

    LSTM 由提出，被进行了改良和推广。

    LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

    所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。

    

    LSTM在链式结构上相同，不同的是每个重复单元内部不是单一神经网络层，而是有四个。

-   ##### LSTM    LSTM本身不是一个完整的模型，准确说应该是**使用LSTM单元的RNN网络**。    关于更多详细细分领域的学习路线[^2]。    [《LSTM简介以及数学推导(FULL BPTT)》](https://blog.csdn.net/a635661820/article/details/45390671) 

• References