对1998年1月至2020年12月的完整数据绘制时序图，而后进行ACF、PACF和ADF检验，发现其为带有明显上升趋势以及季节特性的非平稳序列，对其进行了一次和季节差分，差分后的序列平稳，继而进行系统建模，最终通过三个模型对比，选定​编辑为最优模型，建模后进行残差分析以及查看q-q图，均通过了模型检验。 ​

划分训练集和测试集

用选定的最优乘积季节模型结合2020年6月之前的数据，将其作为训练样本，对2020年6月至12月进行预测，并将其与真实数据进行对比，发现短期的预测效果很好。然后利用完整的2020年12月之前的数据与其对应的最优模型，对2021年1月至2021年6月的数据进行预测，并给出预测值上下限。

堆叠的概念意味着多个 LSTM 层可以相互堆叠。在最基本的设置中，模型只有一个 LSTM 层。

用于堆叠架构的 XtXt 和 Y^tY^t 是向量而不是单个数据点。在每个时间步，单元使用其现有权重运行并产生输出 ZtZt，该输出对应于时间序列的下一个紧邻输出窗口。同样，最后时间步的 RNN 单元实例的输出 Y^TY^T 对应于特定时间序列的预期预测。然而，单元的输出不符合预期维度，即预测范围（HH）。由于单元维度（dd）是一个外部调整的超参数，它可以取任何适当的值。因此，为了将单元的输出投影到预期的预测范围，在每个循环单元顶部连接一个仿射神经网络层，其权重与循环网络本身一起训练。这个全连接层未明确显示，输出 Y^t∈RHY^t∈RH 对应于组合的 RNN 单元和密集层的输出。

然而，与堆叠架构不同，不是在每个时间步考虑输出；而是仅考虑编码器最后一个输入点之后产生的预测。 ​

​

 
​编辑

在 S2S 网络中有两种基本的输出组件类型。最常见的是如上所述的解码器。受 Wen 等人（2017）工作的启发，也可以使用密集层代替解码器。我们在实验中实现了这两种可能性。然而，由于我们没有将任何未来信息馈入解码器，我们不像 Wen 等人（2017）那样使用局部 MLP 的概念，并且仅为预测范围使用一个全局 MLP。这种技术有望消除解码器中具有自回归连接的误差传播问题。
以下是可能涉及的代码示例（此处仅为示意，非完整代码）：

​

# 构建序列到序列架构的 RNN 模型
s2s_model = build_s2s_rnn()
# 训练序列到序列架构模型
s2s_model.fit(train_data)

实验框架

（一）数据集

本实验采用了多个数据集，均源自过去几年的预测竞赛，具体如下： ​

​

•  CIF 2016 预测竞赛数据集：包含 72 个月度时间序列，其中 57 个预测跨度为 12，其余 15 个为 6。部分序列为人工生成，其余来自银行领域。
• NN5 预测竞赛数据集：共 111 个日度时间序列，代表英国 ATM 机近两年的每日现金提取数据，预测跨度为 56，且存在缺失值。
• M3 预测竞赛数据集：2000 年举办，有 1428 个月度时间序列，预测跨度为 18，涵盖多个类别。
• M4 预测竞赛数据集：2018 年举办，格式与 M3 类似，包含 100,000 个序列，仅月度子类别就有 48,000 个序列。
• Wikipedia 网络流量时间序列预测竞赛数据集：任务是预测维基百科页面的未来网络流量，本研究选取前 997 篇文章在特定时期的数据，预测跨度为 59 天，数据均为整数。
• 旅游预测竞赛数据集：包含月度、年度和季度时间序列，本实验选用月度类别，共 366 个序列，需预测给定序列的未来 24 个月数据。
• 由于本研究专注于单变量、多步向前预测且仅考虑单一季节性，对于 NN5 数据集和 Wikipedia 网络流量数据集，因数据为日度且少于两年，仅考虑周季节性；从 M3 和 M4 数据集中仅使用包含单一年度季节性的月度时间序列。
  各数据集的详细信息见表 ：

​编辑

（二）数据预处理

本研究实施了一系列预处理步骤：

1. 数据集划分：依据 Suilin（2017）和 Bandara 等人（2020）的思路，从每个时间序列末尾预留一部分作为验证集，其长度等于预测跨度，其余部分作为训练数据。
2. 处理缺失值：

• 对于 NN5 数据集，采用中位数替换法。因该数据集为日度数据，特定日期的缺失值由该周同一天的所有值的中位数替代。例如，若周二出现缺失值，则取该时间序列所有周二值的中位数作为替换值。此方法优于取所有可用数据点的中位数，因为 NN5 序列具有较强的周季节性。 for (idr in 1: nrow(nn5_dataset)) { oneLine_df=nn5_dataset[idr,] numericvalue<-as.numeric(oneLine_df) for(i in 1:length(numericvalue)){ if(i%%7==0){ sunday = append(sunday,numericvalue[i]) }else if(i%%7==1){ monday = append(monday,numericvalue[i]) }else if(i%%7==2){
• 对于 Kaggle 网络流量数据集，由于其缺失值较多且未区分缺失值和“0”值，对所有缺失值简单替换为“0”。

kaggle_dataset[is.na(kaggle_dataset)] = 0

1. 季节性建模：关于使用神经网络建模季节性，研究者观点不一。早期研究认为神经网络可准确建模季节性，但近期实验表明，在将数据输入神经网络之前进行去季节化处理至关重要，因为神经网络在建模季节性方面较弱。本研究核心是探究神经网络自身建模季节性的能力，因此进行了有无去除季节性的实验。若去除季节性，采用特定的去季节化程序。
2. 稳定数据方差：若使用如 STL 分解等加法季节性分解技术，则需进行方差稳定化处理。对于时间序列预测，对数变换是一种较为直接的方差稳定方法。
3. 多输出策略：预测问题通常是多步向前预测问题。Ben Taieb 等人（2012）对五种多步向前预测技术进行了广泛研究，包括递归策略、直接策略、DiRec 策略、多输入多输出（MIMO）策略和 DIRMO 策略。本研究中，实验表明多输出策略总体效果最佳，DIRMO 策略需谨慎选择输出窗口大小。Wen 等人（2017）也指出直接多水平策略（即 MIMO 策略）性能可靠，因其避免了预测时间步上的误差累积。
4. 趋势归一化：RNN 单元中使用的激活函数（如 sigmoid 或双曲正切函数）存在饱和区域，输出会趋于恒定。因此，使用 RNN 单元时需确保输入充分归一化，使输出不在饱和范围内。为此，对采用移动窗口方案的 RNN 架构执行了每窗口局部归一化步骤。从每个去季节化的输入和相应的输出窗口对中，减去输入窗口最后一个时间步的趋势值（通过 STL 分解得到）。
5. 均值归一化：对于未使用 STL 分解的实验，无法进行上述趋势归一化。在此情况下，在应用对数变换之前，对时间序列进行均值归一化。即每个时间序列除以其自身均值，这种除法而非减法有助于将所有时间序列缩放到相似范围，利于 RNN 学习过程，然后对结果数据进行对数变换。

（三）训练与验证方案

1. 超参数调整：

• 实验需对多个与模型训练相关的超参数进行适当调整，包括小批量大小、训练轮数、轮次大小、学习率、高斯噪声标准差、L2 正则化参数、RNN 单元维度、隐藏层数、随机正态初始化标准差。
• 贝叶斯优化：上述方法逐个评估目标函数（验证误差），这意味着从头重新训练机器学习模型，计算量较大。贝叶斯优化旨在限制此类昂贵的目标函数评估次数。该技术使用高斯先验对所有可能的函数建模目标函数（Snoek 等人，2012）。此概率模型嵌入了关于待优化目标函数的所有先验假设。在每次迭代中，选择超参数空间的另一个实例来评估目标函数值。选择下一个评估点的决策取决于一个单独的采集函数的最小化/最大化，该采集函数比目标函数本身评估成本低得多。采集函数有多种形式，Snoek 等人（2012）的实现使用预期改进。采集函数的优化考虑了所有先前的目标函数评估，以确定下一个评估点。因此，与上述网格搜索和随机搜索相比，贝叶斯优化过程在函数评估方面做出更明智的决策。给定每个超参数的初始值范围和定义的迭代次数，贝叶斯优化方法使用一组先前已知的参数配置进行初始化，从而尝试为给定问题找到这些超参数的最优值。基本贝叶斯优化技术有许多实际实现和变体，如 hyperopt、spearmint 和 bayesian – optimization（Bergstra，2012；Snoek，2012；Fernando，2012）。
• 基于序列模型的算法配置（SMAC）：SMAC 用于超参数调整，是 Hutter 等人（2011）提出的贝叶斯优化的一种变体。此实现基于基于序列模型的优化（SMBO）概念。SMBO 是一种基于贝叶斯优化思想的技术，但使用树状结构 Parzen 估计器（TPE）对目标函数建模，而非高斯先验。TPE 算法在每次迭代中为超参数生成一组候选最优值，而不像通常的贝叶斯优化仅生成一个候选值。树结构允许用户定义相互依赖的条件超参数。该过程一直进行，直到达到给定的时间限制或迭代次数。Hutter 等人（2011）的工作通过添加处理分类超参数的能力进一步增强了基本 SMBO 算法。本研究使用的 SMAC 的 Python 实现可作为 Python 包获取（Lindauer 等人，2017）。
  各数据集的初始超参数范围见表 ：

​编辑

1. 处理模型过拟合：机器学习模型中的过拟合是指在验证数据集上的性能远差于训练数据集上的性能。在神经网络模型中，这主要是由于大量参数导致的复杂性。为使模型更具通用性并捕捉未见过的模式，本框架采用两种技术。一种是向输入添加噪声以部分扭曲它，这里应用的噪声分布是均值为零的高斯分布，标准差作为另一个超参数处理。另一种技术是 L2 权重正则化，在损失函数中使用岭惩罚。权重正则化通过将权重纳入损失函数来避免网络权重过度增长，从而对网络增加复杂性进行惩罚。

​

​

1.  通过添加最后一个输入点的趋势值来反转局部归一化。
2. 通过加回季节性成分来反转去季节化。
3. 通过取指数来反转对数变换。
4. 若数据包含 0，则减去 1。
5. 对于整数数据，将预测值四舍五入到最接近的整数。
6. 将所有负值截断为 0（使预测中仅允许正值）。
   对于未使用 STL 分解的实验，预测的后处理如下：
7. 通过取指数来反转对数变换。
8. 若数据包含 0，则减去 1。
9. 将每个序列的预测值乘以其相应的均值以反转均值缩放的效果。
10. 对于整数数据，将预测值四舍五入到最接近的整数。
11. 将所有负值截断为 0（使预测中仅允许正值）。

结果分析

本实验所使用的数据集在季节性强度、时间序列数量和单个时间序列长度等方面差异较大，因此可合理假设所选数据集涵盖了足够多的不同时间序列特征，以得出一般性结论。
可以看出，在 CIF2016、M3、旅游和 M4 数据集上，没有模型明显优于这两个基准。在 NN5 数据集上，RNN 模型仅在性能上明显优于 auto.arima，但不优于 ets。此外，在所有数据集中，可以发现明显优于基准的 RNN 模型大多是堆叠架构的变体。并且，仅在 Wikipedia 网络流量数据集上，回归模型的合并版本明显优于基准 auto.arima。
一般而言，将滞后数量从 10 增加到 RNN 的输入窗口大小可提高所有数据集上回归模型的准确性。在 Wikipedia 网络流量、M3 和 NN5 数据集上，仅包含交叉序列信息就有效果，因为增加滞后数量的合并回归模型比未合并版本的回归模型表现更好。此外，在 Wikipedia 网络流量和 NN5 数据集上，增加滞后数量的合并回归模型优于独立作用于每个序列的 auto.arima 模型。
尽管在 CIF、旅游和 M4 数据集上合并模型的表现比未合并模型差，但 RNN 模型在这些数据集上大多优于未合并和合并回归模型。这表明，即使这些数据集中的序列不太适合构建全局模型，RNN 架构对最终准确性也有明显影响。实际上，在 CIF 数据集上，RNN 架构的选择效果优于两个统计基准 ets 和 auto.arima。在 Wikipedia 网络流量、M3 和 NN5 数据集上，RNN 也优于统计基准以及回归模型的两个版本，这意味着在这些数据集上，交叉序列的纳入以及 RNN 的选择共同导致了更好的准确性。
另一个重要观察结果是，在许多数据集上，贝叶斯优化和针对合并回归模型的 L2 正则化参数的 10 折交叉验证的超参数调整选择的值接近 0，使得模型实际上几乎没有 L2 正则化。这就是为什么在许多数据集中，有正则化和无正则化的平均 SMAPE 值相同。因此，对于合并回归模型，不能得出 L2 权重正则化可提高模型性能的结论。没有任何 L2 正则化的模型已经是数据的合适拟合。对于未合并回归模型，得到的结果好坏参半。正如 Bergmeir 等人（2018）所讨论的，虽然通用的 k 折交叉验证可用于检测过拟合，但对于欠拟合的模型可能会导致交叉验证误差的低估。然而，我们的合并回归模型没有表现出这种行为，因为它们具有非常小的 L2 正则化参数。对于未合并模型，尽管对于某些序列 L2 正则化参数较高，但 10 折交叉验证和普通交叉验证的情况相同。

（一）RNN 架构的相对性能

在所有数据集上，依据所有误差指标比较不同 RNN 架构的相对性能。图的小提琴图展示了这些结果。可以看出，最佳架构因误差指标而异。在平均 SMAPE 方面，不带移动窗口的具有密集层的序列到序列（S2SD）架构表现最佳。然而，在所有其他误差指标上，堆叠架构表现最佳。关于排名误差图，显然堆叠架构在大多数时间序列上产生最佳结果。因此，平均 SMAPE 的结果表明，堆叠架构对于某些异常时间序列会导致较高误差。S2SD 架构的两个版本（带和不带移动窗口）表现相当不错，尽管在大多数情况下不如堆叠架构。因此，在 S2SD 架构的两个版本之间，很难得出关于最佳模型的明确结论。整体而言，带解码器的 S2S 架构表现最差。

 p <- ggplot(data, aes(factor(Input_Window_Size), Mean_MASE_Rank))
# p + geom_violin() + geom_boxplot(width=0.1, aes(fill=Input_Window_Size)) +

​编辑

关于平均 SMAPE 值，统计显著性的 Friedman 检验给出的总体 p 值为 9.3568×10⁻³，这意味着差异具有统计学意义。使用表现最佳的 S2SD MW 架构作为对照方法进行 Hochberg 的事后检验。堆叠架构和 S2SD 非 MW 架构的表现没有明显更差，调整后的 p 值为 0.602。然而，S2S 架构的表现明显更差，调整后的 p 值为 5.24×10⁻³。在中位数 SMAPE 方面，统计显著性的 Friedman 检验给出的总体 p 值为 0.349，这意味着模型之间的差异不具有统计学意义。

（二）循环单元的性能

图 的小提琴图展示了不同 RNN 单元在平均 SMAPE 排名和平均 MASE 排名方面的性能比较。关于平均 SMAPE 值的统计显著性的 Friedman 检验产生的总体 p 值为 0.101。尽管 p 值未表明具有统计显著性，但从图中可以得出，具有窥视孔连接的 LSTM 单元表现最佳。ERNN 单元表现最差，GRU 的性能介于两者之间。

​编辑

（三）季节性建模分析

我们还绘制了不同数据集的季节性模式，如图 所示。为便于说明，在 M4 月度数据集和 Wikipedia 网络流量数据集的每个类别中，仅绘制前 400 个序列。此外，从每个数据集的每个序列中，仅绘制前 50 个时间步。
​编辑

（四）RNN 模型与传统单变量基准的性能对比

模型类型在平均 SMAPE 指标和中位数 SMAPE 指标方面的相对性能分别如图 所示。
​编辑
​编辑

结论

本研究的动机是解决在使用 RNN 进行预测时的一些关键问题，并评估预测从业者在对这些技术了解有限的情况下如何有效地将其用于预测任务。通过对具有不同特征的数据集进行大量系统实验，我们得出了从一般数据预处理最佳实践到超参数配置、最佳 RNN 架构、循环单元和优化器等多方面的结论。所有模型都以全局模型的形式利用交叉序列信息，从而充分利用了存在大量相关时间序列的大规模时间序列数据库。

关于分析师

Pengyuan Wen

✉

     联系我们

在此对 Pengyuan Wen 对本文所作的贡献表示诚挚感谢，他在西安电子科技大学从事统计学相关研究。擅长 R、Python，在机器学习、数据分析、数据采集等方面有着丰富的经验。 ​