---

可下载资源

我们将介绍以下方法。

• 递归剔除–这是一种特定的、内置的方式，使用剔除来对抗递归层中的过度拟合。
• 堆叠递归层–这增加了网络的表示能力（以较高的计算负荷为代价）。
• 双向递归层–这些层以不同的方式向递归网络呈现相同的信息，提高了准确性并缓解了遗忘问题。

在这个数据集中，14个不同的量（如气温、大气压力、湿度、风向等）每10分钟被记录一次，历时数年。原始数据可以追溯到2003年，但这个例子仅限于2009-2016年的数据。这个数据集是学习处理数字时间序列的完美选择。你将用它来建立一个模型，把最近的一些数据（几天的数据点）作为输入，预测未来24小时的空气温度。

下载并解压数据如下。

unzip(
  "~/Downloads/climate.csv.zip",
)

下面是评估循环。

   
  for (step in 1:val_steps) {
    c(samples, targets) %<-% val_gen()
    preds <- samples[,dim(samples)[[2]],2]
    mae <- mean(abs(preds - targets))
    batch_maes <- c(batch_maes, mae)
  }

一些验证损失接近于无学习基线，但并不可靠。这就说明了首先要有这个基准的好处：事实证明，要超越它并不容易。你的常识包含了很多机器学习模型无法获得的宝贵信息。

你可能会想，如果存在一个简单的、表现良好的模型来从数据到目标（常识基准），为什么你正在训练的模型没有发现它并在此基础上进行改进？因为这个简单的解决方案并不是你的训练设置所要寻找的。你在其中寻找解决方案的模型空间–也就是你的假设空间–是所有可能的两层网络的空间，其配置由你定义。这些网络已经相当复杂了。当你用一个复杂的模型空间寻找解决方案时，简单的、表现良好的基线可能是不可学习的，即使它在技术上是假设空间的一部分。这是机器学习的一个相当重要的限制：除非学习算法被硬编码为寻找一种特定的简单模型，否则参数学习有时可能无法找到一个简单问题的简单解决方案。

---

---

第一个递归基准模型

第一个全连接方法做得不好，但这并不意味着机器学习不适用于这个问题。之前的方法首先对时间序列进行了扁平化处理，将时间的概念从输入数据中移除。相反，让我们把数据看成是：一个序列，其中因果关系和顺序很重要。你将尝试一个循环序列处理模型–它应该是最适合这种序列数据的，正是因为它利用了数据点的时间顺序，与第一种方法不同。

你将使用Chung等人在2014年开发的GRU层，而不是上一节中介绍的LSTM层。门控递归单元（GRU）层的工作原理与LSTM相同，但它们有些精简，因此运行成本更低（尽管它们可能没有LSTM那么多的表示能力）。在机器学习中，这种计算能力和表现能力之间的权衡随处可见。

交互显示训练过程中的模型损失： 

使用递归丢弃dropout来对抗过拟合

从训练和验证曲线中可以看出，该模型正在过度拟合：训练和验证损失在几个 epochs之后开始出现明显的分歧。你已经熟悉了对抗这种现象的经典技术：dropout，它随机地将一个层的输入单元清零，以打破该层所接触的训练数据中的偶然相关性。

Yarin Gal使用Keras进行研究，并帮助将这一机制直接构建到Keras的递归层中。Keras中的每个递归层都有两个与dropout相关的参数：dropout，一个指定该层输入单元的dropout率的浮点数，以及recurrent\_dropout，指定递归单元的dropout率。让我们在layer\_gru中加入dropout和recurrent dropout，看看这样做对过拟合有什么影响。因为用dropout进行正则化的网络总是需要更长的时间来完全收敛，所以你将训练网络两倍的epochs。

  layer_gru(dropout = 0.2))

下面的图显示了结果。 你在前20个 epochs中不再过度拟合。但是，尽管你有更稳定的评估分数，你的最佳分数并没有比以前低很多。

下图显示了结果。你可以看到，添加的层确实改善了一些结果，尽管并不明显。你可以得出两个结论。

• 因为你的过拟合情况仍然不是很严重，所以你可以安全地增加层的大小以寻求验证损失的改善。不过，这有一个不可忽视的计算成本。
• 增加一个层并没有明显的帮助，所以在这一点上，你可能会看到增加网络容量的回报越来越少。

使用双向的RNNs

本节介绍的最后一项技术被称为双向RNNs。双向RNN是一种常见的RNN变体，在某些任务上可以提供比普通RNN更大的性能。它经常被用于自然语言处理–你可以把它称为用于自然语言处理的深度学习的瑞士军刀。

值得注意的是，RNN是顺序依赖的，或者说是时间依赖的：它们按顺序处理其输入序列的时间段颠倒时间段可以完全改变RNN从序列中提取的表示。这正是它们在顺序有意义的问题上表现良好的原因，如温度预测问题。双向RNN利用了RNN的顺序敏感性：它包括使用两个常规的RNN，比如你已经熟悉的layer\_gru和layer\_lstm，每个都从一个方向（按时间顺序和按反时间顺序）处理输入序列，然后合并它们的表示。通过双向处理一个序列，双向RNN可以识别到可能被单向RNN忽略的模式。

值得注意的是，本节中的RNN层按时间顺序处理了序列（较早的时间段在前），这可能是一个随意的决定。如果RNN按反时序处理输入序列，例如（较新的时间段在前），它们的表现是否足够好？让我们在实践中尝试一下，看看会发生什么。训练你在本节第一个实验中使用的相同的单层GRU网络，你会得到如下的结果。

反序GRU的表现甚至低于常识性基线，表明在这种情况下，时间处理对你的方法的成功很重要。这是很有道理的：底层的GRU层通常会在记忆最近的过去方面比记忆遥远的过去方面做得更好，而对于这个问题来说，较近的天气数据点自然比较早的数据点更具预测性（这就是常识性基线相当强大的原因）。因此，按时间顺序排列的图层的表现必然会优于倒序的版本。重要的是，对于许多其他问题，包括自然语言，这并不正确：凭直觉，一个词在理解一个句子中的重要性通常并不取决于它在句子中的位置。

让我们在LSTM IMDB例子上尝试同样的技巧。

# 考虑作为特征的词的数量
max_features <- 10000  

# 剔除超过这个字数的文本
maxlen <- 500



# 反转序列
x\_train <- lapply(x\_train, rev)
x\_test <- lapply(x\_test, rev) 



  layer_lstm(units = 32) 

history <- model %>% fit(
  x\_train, y\_train,
  epochs = 10,
  batch_size = 128,
)

你得到的性能几乎与按时间顺序排列的LSTM相同。值得注意的是，在这样的文本数据集上，倒序处理与按时间顺序处理一样好，这证实了这样的假设：尽管词序在理解语言方面确实很重要，但你使用哪种顺序并不关键。重要的是，在颠倒的序列上训练的RNN将与在原始序列上训练的RNN学习不同的表征，就像在现实世界中，如果时间倒流，你会有不同的心理模型–如果你的生活中，你在第一天死亡，在最后一天出生。

在机器学习中，不同但有用的表征总是值得利用的，而且它们的差异越大越好：它们提供了一个新的角度来观察你的数据，识别到了其他方法所遗漏的数据方面，因此它们可以帮助提高任务的性能。

双向RNN利用这个想法来提高按时间顺序排列的RNN的性能。它从两个方面观察其输入序列，获得潜在的更丰富的表征，并识别到可能被单独的时间顺序版本所遗漏的模式。

要在Keras中实例化一个双向RNN，它需要一个递归层实例作为参数。创建这个递归层的第二个独立实例，并使用一个实例来处理按时间顺序排列的输入序列，另一个实例来处理按相反顺序排列的输入序列。我们在IMDB情感分析任务上试试。

bidirectional(
    lstm(units = 32)
  )

它的表现比之前尝试的普通LSTM略好，取得了超过89%的验证准确性。它似乎也会更快地过拟合，这并不奇怪，因为双向层的参数是按时间顺序排列的LSTM的两倍。通过一些正则化，双向方法很可能在这个任务中表现出色。

现在让我们在温度上尝试同样的方法

 bidirectional(
    layer_gru(units = 32),
  ) %>% 
  layer_dense(units = 1)

和普通的layer_gru的表现差不多。这很容易理解：所有的预测能力必须来自于网络中按时间顺序排列的那一半，因为已知反时间顺序排列的那一半在这个任务上表现严重不足。

进一步

为了提高温度预测问题的性能，你还可以尝试许多其他事情。

• 调整堆叠设置中每个递归层的单元数量。目前的选择基本上是任意的，因此可能是次优的。
• 调整RMSprop优化器使用的学习率。
• 尝试使用layer\_lstm而不是layer\_gru。
• 尝试在递归层之上使用更大的密集连接回归器：也就是说，一个更大的密集层，甚至是密集层的堆叠。
• 最终在测试集上运行表现最好的模型（就验证MAE而言）。否则，你会开发出过度拟合的架构。

深度学习是一门艺术，而不是一门科学。我们可以提供指导方针，但最终，每个问题都是独一无二的；你必须根据经验来评估不同的策略。目前还没有任何理论能够事先准确地告诉你应该怎样做才能最有效地解决问题。你必须进行迭代。

总结

• 在处理一个新问题时，最好首先为你选择的指标建立常识性的基准。如果你没有一个基准，你就无法判断你是否取得了真正的进展。
• 先尝试简单的模型，以证明合理性。有时，一个简单的模型会成为你最好的选择。
• 当你的数据的时间顺序很重要时，递归网络是一个很好的选择。
• 为了在递归网络中使用dropout，你应该使用时间恒定的dropout mask和递归dropout mask。
• 堆叠的RNN比单一的RNN层提供更多的表示能力。虽然它们在复杂的问题（如机器翻译）上提供了明显较好的效果，但它们可能在较简单的问题表现一般。
• 双向的RNNs，从两个方面看一个序列，在自然语言处理问题上很有用。但它们在序列数据上的表现并不突出，因为在这些数据中，近期的信息量要比序列的初始数据大得多。

注意：股市和机器学习
一些读者一定会想把我们在这里介绍的技术，在预测股票市场上的证券（或货币汇率等）的未来价格问题上进行尝试。市场与自然现象（如天气模式）有着非常不同的统计特征，当涉及到股市时，过去的表现并不能很好地预测未来的回报–看后视镜是一种不好的驾驶方式。另一方面，机器学习适用于那些过去能很好地预测未来的数据集。