R语言实现拟合神经网络预测和结果可视化

神经网络一直是迷人的机器学习模型之一

由Kaizong Ye,Coin Ge撰写

不仅因为花哨的反向传播算法,而且还因为它们的复杂性(考虑到许多隐藏层的深度学习)和受大脑启发的结构。

神经网络并不总是流行,部分原因是它们在某些情况下仍然存在计算成本高昂,部分原因是与支持向量机(SVM)等简单方法相比,它们似乎没有产生更好的结果。然而,神经网络再一次引起了人们的注意并变得流行起来。

×

神经网络解法
与单特征值的线性回归问题类似,多变量(多特征值)的线性回归可以被看做是一种高维空间的线性拟合。以具有两个特征的情况为例,这种线性拟合不再是用直线去拟合点,而是用平面去拟合点。

定义神经网络结构
我们定义一个一层的神经网络,输入层为2或者更多,反正大于2了就没区别。这个一层的神经网络的特点是:
1.没有中间层,只有输入项和输出层(输入项不算做一层),
2.输出层只有一个神经元,
3.神经元有一个线性输出,不经过激活函数处理,即在下图中,经过Σ求和得到Z值之后,直接把Z值输出。
在这里插入图片描述
输入层
单独看第一个样本是这样的:在这里插入图片描述
一共有1000个样本,每个样本2个特征值,X就是一个1000×2的矩阵:
在这里插入图片描述
x1 表示第一个样本,x1,1表示第一个样本的一个特征值,y1是第一个样本的标签值。

权重W和B
由于我们只想完成一个回归(拟合)任务,所以输出层只有一个神经元。由于是线性的,所以没有用激活函数。
在这里插入图片描述
写成矩阵形式:
在这里插入图片描述
上述公式中括号中的数字表示该矩阵的(行x列)数。

对于拟合,可以想象成用一支笔在一堆点中画一条直线或者曲线,而那一个神经元就是这支笔。如果有多个神经元,可以画出多条线来,就不是拟合了,而是分类。

损失函数
因为是线性回归问题,所以损失函数使用均方差函数。
在这里插入图片描述
其中,zi是样本预测值,yi是样本的标签值。

反向传播
单样本多特征计算
与上一章不同,本章中的前向计算是多特征值的公式:
在这里插入图片描述
因为x有两个特征值,对应的W也有两个权重值。xi1表示第i个样本的第1个特征值,所以无论是x还是w都是一个向量或者矩阵了,那么我们在反向传播方法中的梯度计算公式还有效吗?答案是肯定的,我们来一起做个简单推导。

由于W被分成了w1和w2两部分,根据公式1和公式2,我们单独对它们求导:

在这里插入图片描述
求损失函数对W矩阵的偏导,是无法求的,所以要变成求各个W的分量的偏导。由于W的形状是:
在这里插入图片描述
所以求loss对W的偏导,由于W是个矩阵,所以应该这样写:
在这里插入图片描述
多样本多特征计算
当进行多样本计算时,我们用m=3个样本做一个实例化推导:
在这里插入图片描述
在这里插入图片描述

 在这篇文章中,我们将拟合神经网络,并将线性模型作为比较。

数据集

波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋(medv)的中值。


热门课程

R语言数据分析挖掘必知必会

面对扑面而来的数据浪潮,包含Google、Facebook等国际企业,都已采用R语言进行数据分析

探索课程

首先,我们需要检查是否缺少数据点,否则我们需要修复数据集。

然后我们拟合线性回归模型并在测试集上进行测试。

sample(x,size)函数简单地从向量输出指定大小的随机选择样本的向量x

准备适应神经网络

在拟合神经网络之前,需要做一些准备工作。神经网络不容易训练和调整。

作为第一步,我们将解决数据预处理问题。
因此,我们在继续之前分割数据:

请注意,scale返回需要强制转换为data.frame的矩阵。

参数

据我所知,虽然有几个或多或少可接受的经验法则,但没有固定的规则可以使用多少层和神经元。通常,如果有必要,一个隐藏层足以满足大量应用程序的需要。就神经元的数量而言,它应该在输入层大小和输出层大小之间,通常是输入大小的2/3

  • hidden参数接受一个包含每个隐藏层的神经元数量的向量,而该参数linear.output用于指定我们是否要进行回归linear.output=TRUE或分类linear.output=FALSE

Neuralnet包提供了绘制模型的好工具:

这是模型的图形表示,每个连接都有权重:

黑色线条显示每个层与每个连接上的权重之间的连接,而蓝线显示每个步骤中添加的偏差项。偏差可以被认为是线性模型的截距。 

使用神经网络预测medv

现在我们可以尝试预测测试集的值并计算MSE。 

然后我们比较两个MSE

显然,在预测medv时,网络比线性模型做得更好。再一次,要小心,因为这个结果取决于上面执行的列车测试分割。下面,在视觉图之后,我们将进行快速交叉验证,以便对结果更有信心。
下面绘制了网络性能和测试集上的线性模型的第一种可视方法

输出图

通过目视检查图,我们可以看到神经网络的预测(通常)在线周围更加集中(与线的完美对齐将表明MSE为0,因此是理想的完美预测),而不是由线性模型。

下面绘制了一个可能更有用的视觉比较:

 交叉验证

交叉验证是构建预测模型的另一个非常重要的步骤。虽然有不同类型的交叉验证方法 

然后通过计算平均误差,我们可以掌握模型的运作方式。

我们将使用神经网络的for循环和线性模型cv.glm()boot包中的函数来实现快速交叉验证。
据我所知,R中没有内置函数在这种神经网络上进行交叉验证,如果你知道这样的函数,请在评论中告诉我。以下是线性模型的10倍交叉验证MSE:

 请注意,我正在以这种方式分割数据:90%的训练集和10%的测试集以随机方式进行10次。我也正在使用plyr库初始化进度条,因为我想要密切关注过程的状态,因为神经网络的拟合可能需要一段时间。

过了一会儿,过程完成,我们计算平均MSE并将结果绘制成箱线图

上面的代码输出以下boxplot:


神经网络的平均MSE(10.33)低于线性模型的MSE,尽管交叉验证的MSE似乎存在一定程度的变化。这可能取决于数据的分割或网络中权重的随机初始化。

关于模型可解释性的最后说明

神经网络很像黑盒子:解释它们的结果要比解释简单模型(如线性模型)的结果要困难得多。因此,根据您需要的应​​用程序类型,您可能也想考虑这个因素。此外,正如您在上面所看到的,需要格外小心以适应神经网络,小的变化可能导致不同的结果。


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!