长短期记忆

通过递归反向传播学习在较长时间间隔内存储信息需要很长时间，主要原因是误差反向传递不足且逐渐衰减。我们简要回顾了Hochreiter（1991）对该问题的分析，然后通过引入一种新颖、高效的基于梯度的方法——长短期记忆（LSTM）来解决此问题。在不造成损害的地方截断梯度，LSTM能够学习跨越超过1000个离散时间步的最小时间滞后，它通过特殊单元内的恒定误差环路来强制保持恒定的误差流。乘法门控单元学习开启和关闭对恒定误差流的访问。LSTM在空间和时间上具有局部性；其每个时间步和权重的计算复杂度为O(1)。我们使用人工数据进行了涉及局部、分布式、实值和噪声模式表示的实验。与实时递归学习、时间反向传播、递归级联相关、Elman网络和神经序列分块方法相比，LSTM带来了更多成功的训练次数，并且学习速度更快。LSTM还解决了以往递归网络算法从未解决过的复杂人工长时间滞后任务。