LSTM 的核心要素是细胞状态，即贯穿下图顶部的水平线。细胞状态有点像传送带。它沿着整个链直线贯通，只有一些微小的线性相互作用。信息很容易在没有大幅变化的情况下流动。在传递过程中，通过当前时刻输入  、上一时刻隐藏层状态  、上一时刻细胞状态  以及门结构来增加或删除细胞状态中的信息。

门是指一种有选择性地让信息通过的方式，即控制增加或删除信息的程度。其由一个 sigmoid 神经网络层和一个点乘运算组成。

sigmoid 层输出  到  之间的数字，描述每个组件应该允许的通过量。  的值表示“不让任何量通过”，而  的值表示“让所有量通过”。

LSTM 有三个这样的门，用来保护以及控制细胞的状态。

逐步解析LSTM

遗忘门：

LSTM 的第一步是决定从上一个细胞状态中丢弃什么信息。这个决定是由一个叫做“遗忘门”的 sigmoid 层做出的。如下图所示，遗忘门的输入为  和  ，输出为  。即为细胞状态  中的每个值输出一个相对应的介于  和  之间的值。  表示完全保留，而  表示完全删除。

让我们回到语言模型的例子，即试图根据前面的单词预测下一个单词。在这种情况下，细胞状态可能包含了当前主题的性别特征，以便正确使用代词。然而当我们看到一个新的主题时，我们通常需要忘掉旧主题的性别特征。

输入门：

下一步是决定在细胞状态中存储哪些新信息。这分为两个部分。首先，  层创建一个新的打算添加到细胞状态中的候选值向量。其次，一个名为“输入门层”的 sigmoid 层决定候选值中的哪些值应该被添加到细胞状态中。接下来，我们将二者结合来创建细胞状态的更新值。

在我们语言模型的例子中，我们想要在细胞状态中添加新主题的性别特征，以取代我们打算遗忘的旧主题的性别特征。

更新细胞状态：

现在是时候将旧的单元格状态  更新为新的细胞状态  了。前面的步骤已经定好了要做什么，接下来我们只需要实际去做就好了。

我们将旧状态  按元素乘上  ，将打算遗忘的内容遗忘掉。同理，我们添加  ，即添加新的信息到细胞状态中。

相对于语言模型，这样的操作所达到的目的正是删除旧主题的性别信息并添加新信息，正如我们之前所决定的那样。

输出门：

最后，我们将决定输出什么。此输出将基于细胞状态，但将是基于更新后的细胞状态。首先，我们运行一个 sigmoid 层，它决定输出细胞状态的哪些部分。然后，我们使细胞状态通过  （将值的范围缩小在  和  之间)，并将其乘以 sigmoid 层的输出，这样我们只输出了我们想要输出的部分。

对于语言模型示例，由于它只看到了一个主语，所以它可能希望输出与动词相关的信息，以应对接下来发生的事情。例如，它可能输出主语是单数还是复数，这样我们就能知道后面跟着的与其相对应的动词的形式。

穿越时间的反向传播

以上所述是 LSTM 的前向计算过程，接下来我们要关注的是求解梯度的反向传播算法。

结合上述，我们可以整理思路如下：

1. 前向计算各时刻遗忘门  、输入门  以及根据当前输入得到的新信息候选值  、细胞状态  、输出门  、隐藏层状态  、最终模型的输出  ；

2. 反向传播计算误差  ，即模型目标函数  对加权输入  的偏导；（注意：  的传播沿两个方向，分别为从输出层传播至输入层，以及沿时间  的反向传播）；

3. 求解模型目标函数  对权重  ， ，  ；  ，  ，  ；  ，  ，  ；  ，  ，  ；  ，  的偏导数。

传播至输入层更新参数：

首先我们定义  ，且由上述公式可知  ，因此可得:  ；

同理可得：

 。

注意，由于  记忆了所有时刻的细胞状态，故每个时间点迭代时，  累加。

由于  ，因此可得 :

 ，

 ，

 ，

 。

由于：

 ;

 ；

 ；

 。

因此：

 ；

 ；

 ；

 。

最后，可以求得各个权重矩阵的偏导数（注：下述公式中的上标  表示矩阵的转置）：

 ，  ，  ；

 ，  ，  ；

 ，  ，  ；

 ，  ，  ；

注意，以上权重参数在所有时刻共享，故每个时间点迭代时的梯度累加。

穿越时间反向传播：

沿时间反向传播，就是要计算出  时刻的误差项  。

我们可以得到：

 。

且已知：

 ；  。

并且已知  、 、  、  都是  的函数，那么，利用全导数公式可得：

接下来，我们把上式中的每个偏导数都求出来，

根据：

 ； 

以及：

 ；

 ；

 。

可得：

 ；  ；

 ；  ；

 ；  ；  ；

 ；  ；  ；

 ； ；  ；

将上述所得公式代入到公式  ，可以得到：

其中：

 ；

 ；

 ；

 。

 即为误差沿着时间传播一个时刻的公式。有了它，我们就可以写出将误差项反向传播到任意  时刻的公式：

 。