然后，我们将输入到隐藏的转换定义为 (U_j = [U_{1j}, \cdots, U_{Nj}]^T)，其中 (U_j \in R^{N\times d\times d_0})，(U_{nj} \in R^{d\times d_0})，(d_0) 是每个时间步单个变量的维度。隐藏到隐藏的转换定义为：(W_j = [W_{1j} \cdots W_{Nj}])，其中 (W_j \in R^{N\times d\times d})，(W_{nj} \in R^{d\times d})。与标准 LSTM 神经网络（Hochreiter & Schmidhuber, 1997）一样，多变量- LSTM 在更新过程中有输入门 (i_t)、遗忘门 (f_t)、输出门 (o_t) 和记忆单元 (c_t)。给定时间 (t) 新输入的 (x_t) 和隐藏状态矩阵 (\tilde{h}_{t – 1})，隐藏状态更新定义为：

​ ​

其中 (\tilde{j}t = [j{1t}, \cdots, j_{Nt}]^T) 与隐藏状态矩阵 (R^{N\times d}) 具有相同的形状。每个元素 (j_{nt} \in R^{d}) 对应于关于输入变量 (n) 的隐藏状态更新。项 (W_j \tilde{h}{t – 1}) 和 (U_j \tilde{x}t) 分别捕获来自上一步隐藏状态和新输入的更新。张量点积运算 (\tilde{}) 定义为沿 (N) 轴的两个张量的乘积，例如，(W_j \tilde{h}{t – 1} = [W{1j}h_{1t – 1}, \cdots, W_{Nj}h_{Nt – 1}]^T)，其中 (W_{nj}h_{nt – 1} \in R^{d})。根据门和记忆单元的不同更新方案，我们提出了 多变量- LSTM 的两种实现，即方程集中的 多变量- Full 和方程集中的 多变量- Tensor。在这两组方程中，vec(·) 指的是向量化操作，它将矩阵的列连接成一个向量。连接操作表示为 (\oplus)，逐元素乘法表示为 (\odot)。算子 matricization(·) 将 (R^{D}) 中的向量重塑为 (R^{N\times d}) 中的矩阵。

​

方程集 1：多变量- Full

     h_tilda_t = torch.zeros(x.shape[0], self.input_dim, self.n_units).cuda()
        c_t = torch.zeros(x.shape[0], self.input_dim*self.n_units).cuda()
        outputs = torch.jit.annotate(List[Tensor], [])
        for t in range(x.shape[1]):
            # eq 1
            j_tilda_t = torch.tanh(torch.einsum("bij,ijk->bik", h_tilda_t, self.W_j) + \
                                   torch.einsum("bij,jik->bjk", x[:,t,:].unsqueeze(1), self.U_j) + self.b_j)
            inp =  torch.cat([x[:, t, :], h_tilda_t.view(h_tilda_t.shape[0], -1)], dim=1)
            # eq 2

​

​

• 见解：对于携带不同模式的多变量数据，正确地对单个变量及其相互作用进行建模对于预测性能很重要。多变量- Full 在门更新中保留了变量相互作用。多变量- Tensor 独立地维护变量层面的隐藏状态，并且仅通过混合注意力捕获它们的相互作用。实验中，多变量- Full 和 多变量- Tensor 表现出相当的性能，尽管 多变量- Tensor 中独立变量层面隐藏状态的混合导致了最佳性能。请注意，多变量- Full 和 多变量- Tensor 是单一网络结构。与基线中的复合网络架构不同，多变量- LSTM 中良好维护的变量层面隐藏状态的混合也提高了预测性能并增强了如下所示的可解释性。

model = MVLSTM(X_train_t.shape[2], 1, 128).cuda()
opt = torch.optim.Adam(model.parameters(), lr=0.001)
epoch_scheduler = torch.optim.lr_scheduler.StepLR(opt, 20, gamma=0.9)

 PM2.5
​ ​

​

 PLANT
​ ​

解释

在这部分，我们定性地分析变量和时间重要性的意义。图分别展示了在最佳超参数下训练期间的变量和时间重要性值。多变量- Full 和 多变量- Tensor 学习到的重要性值可能略有不同，因为在 多变量- Tensor 中，门和记忆更新方案是独立演化的，从而导致与 多变量- Full 不同的隐藏状态。与基线 RETAIN 和 DUAL 相比，多变量- LSTM 更容易理解。

    h_tilda_t = torch.zeros(x.shape[0], self.input_dim, self.n_units).cuda()
        c_tilda_t = torch.zeros(x.shape[0], self.input_dim, self.n_units).cuda()
        outputs = torch.jit.annotate(List[Tensor], [])
        for t in range(x.shape[1]):
            # eq 1
            j_tilda_t = torch.tanh(torch.einsum("bij,ijk->bik", h_tilda_t, self.W_j) + \
                                   torch.einsum("bij,jik->bjk", x[:,t,:].unsqueeze(1), self.U_j) + self.b_j)
            # eq 5
            i_tilda_t = torch.sigmoid(torch.einsum("bij,ijk->bik", h_tilda_t, self.W_i) + \
                                torch.einsum("bij,jik->bjk", x[:,t,:].unsqueeze(1), self.U_i) + self.b_i)

• 变量重要性：在图中，每个子图的顶部和底部面板分别显示了来自 多变量- Full 和 多变量- Tensor 的关于训练时期的变量重要性值。总体而言，变量重要性值在训练期间收敛，并且在训练结束时确定变量重要性的排名。具有高重要性值的变量对 多变量- LSTM 的预测贡献更大。对于 PM2.5 数据集，变量“风速”、“气压”、“降雪”、“降雨”被 多变量- LSTM 排在较高位置。根据最近一项研究空气污染的工作（Liang et al., 2015），“露点”和“气压”都与 PM2.5 相关且相互关联。一个“气压”变量足以学习准确的预测，因此具有高重要性值。强风可以带来干燥和新鲜的空气。“降雪”和“降雨”量也与空气质量有关。对 多变量- LSTM 重要的变量与（Liang et al., 2015）中的领域知识一致。在 PLANT 数据集中，除了“辐照度”和“云量”，“风速”、“湿度”以及“温度”也排在较高位置，并且在 多变量- LSTM 中相对更多地用于提供准确的预测。正如（Mekhilef et al., 2012; Ghazi & Ip, 2014）所讨论的，湿度会导致灰尘沉积并因此降低太阳能电池效率。增加的风可以从电池表面带走热量，从而提高效率。图 表明，变量“室内湿度”、“室内二氧化碳”和“室内照明”对 多变量- LSTM 相对更重要（“Humid.”表示湿度）。正如（Nguyen et al., 2014; Höppe, 1993）所建议的，湿度与室内温度相关。
• ​
• PM2.5
  ​
  PLANT
  ​
  SML
  ​
• ​

图 展示了训练结束时每个变量的时间重要性值。颜色越浅，相应的数据对预测的贡献越大。具体而言，在图中，变量“降雪”和“风速”的短期历史对预测贡献更大。PM2.5 本身具有相对较长的自相关性，即大约 5 小时。图 显示，上述重要变量“风”和“温度”的近期数据在预测中被高度使用，而“云量”与目标具有长期相关性，即大约 13 小时。在图中，时间重要性值大多较为均匀，尽管“餐厅湿度”具有短期相关性，“室外温度”和“餐厅照明”与目标具有相对较长的相关性。

​

•  
  PM2.5
  ​
  PLANT
  ​
  SML
  ​
• 变量层面的时间重要性解释：左图和右图分别对应 多变量- Full 和 多变量- Tensor。观察到变量的时间重要性的不同衰减模式，这为每个变量的动态提供了额外的解释。

​

​

​
见解：理想情况下，有效的变量选择应使相应的重新训练模型与表 中在完整数据上训练的对应模型具有可比的误差。多变量- Full 和 多变量- Tensor 在表 中表现出相当甚至更低的误差，而 DUAL 和 RETAIN 大多具有更高的误差。皮尔逊相关系数衡量线性关系。基于它选择变量忽略了非线性相关性，并且不适合 LSTM 获得最佳性能。变量选择的另一个优点是训练效率，例如，多变量- Tensor 中每个时期的训练时间从约 16 秒减少到约 11 秒。

综上所述，本文提出的 多变量- LSTM 网络架构在多变量时间序列预测任务中表现出良好的性能和可解释性。通过独特的隐藏状态矩阵设计和相关的更新方案，能够有效地捕捉变量层面的信息和动态，在变量重要性分析、时间重要性分析以及变量选择等方面都展现出了优势，为多变量时间序列的分析与预测提供了一种有效的方法和工具，在相关领域具有一定的应用潜力和研究价值，未来还可进一步探索其在更多复杂场景和大规模数据中的应用效果，以及与其他先进技术的结合使用等方向。

结论与讨论

在本文中，我们探索了长短期记忆网络（LSTMs）在多变量时间序列可解释性预测方面的内部结构。大量实验为实现 LSTM 的卓越预测性能和重要性解释提供了深刻见解。关于高阶效应，例如数据中的变量相互作用，可以通过在隐藏状态矩阵中添加额外的行以及在重要性向量中相应地添加元素来捕获。这将是未来的工作。

参考文献

Ancona, M., Ceolini, E., Oztireli, C., and Gross, M. 《Towards better understanding of gradient – based attribution methods for deep neural networks》. 第六届国际学习表征会议（ICLR 2018）, 2018.
Arras, L., Montavon, G., Müller, K. – R., and Samek, W. 《Explaining recurrent neural network predictions in sentiment analysis》. arXiv 预印本 arXiv:1706.07206, 2017.
Bahdanau, D., Cho, K., and Bengio, Y. 《Neural machine translation by jointly learning to align and translate》. 国际学习表征会议，2014.
Bai, J. and Ng, S. 《Forecasting economic time series using targeted predictors》. 《计量经济学杂志》, 146 (2): 304–317, 2008.
Bishop, C. M. 《Mixture density networks》. 1994.
Ceci, M., Corizzo, R., Fumarola, F., Malerba, D., and Rashkovska, A. 《Predictive modeling of pv energy production: How to set up the learning task for a better prediction?》. 《IEEE 工业信息技术学报》, 13 (3):956–966, 2017.
Che, Z., Purushotham, S., Khemani, R., and Liu, Y. 《Interpretable deep models for icu outcome prediction》. 《美国医学信息学协会年会论文集》, 卷 2016, 第 371 页。美国医学信息学协会，2016. ​