---

可下载资源

提示：如果你有兴趣将你的线性回归技能提高到一个新的水平，也可以考虑参加我们的R语言课程!

回归分析帮助你了解当一个自变量被调整而其他变量被固定时，因变量的典型值如何变化。

正如你已经读到的，有各种回归技术。你可以通过观察三个方面来区分它们：自变量的数量、因变量的类型和回归线的形状。

线性回归

线性回归是最广为人知的建模技术之一。简而言之，它允许你使用线性关系来预测Y的（平均）数值，对于X的一个给定值，用一条直线。这条线被称为 “回归线”。

因此，线性回归模型是y=ax+b。该模型假设因变量y是定量的。然而，在许多情况下，因变量是定性的，或者换句话说，是分类的。例如，性别是定性的，取值为男性或女性。

Logistic逻辑回归

逻辑回归是分类技术的一个实例，你可以用它来预测一个定性的反应。更具体地说，逻辑回归是对性别属于某个特定类别的概率建模。

对数函数总是会产生一个S型曲线，所以无论X的值是多少，我们都会得到一个合理的预测。

上述方程也可以重构为：

---

---

数量

被称为几率比，可以在0和∞之间取任何值。接近0和∞的几率值分别表示p（X）的概率非常低和非常高。

通过从上式中对两边取对数，你可以得到。

左手边被称为Logit。在一个逻辑回归模型中，增加一个单位的X会使对数改变β0。但无论X的价值如何，如果β1是正的，那么增加X将与增加P(X)相关，如果β1是负的，那么增加X将与减少P(X)相关。

系数β0和β1是未知的，必须根据现有的训练数据来估计。对于逻辑回归，你可以使用最大似然，一种强大的统计技术。让我们再来看看你的性别分类的例子。

多项式Logistic回归

到目前为止，本教程只关注了二项式逻辑回归，因为你是将实例分类为男性或女性。多项式Logistic回归模型是二项式Logistic回归模型的一个简单扩展，当探索性变量有两个以上的名义（无序）类别时，你可以使用该模型。

每个类别的虚拟变量在其类别中的值为1，在所有其他类别中的值为0。有一个类别，即参考类别，不需要它自己的虚拟变量，因为它是由所有其他变量都是0来唯一识别的。

然后，多叉逻辑回归为每个虚拟变量估计一个单独的二元逻辑回归模型。结果是M-1M-1二元逻辑回归模型。每个模型都传达了预测因素对该类别成功概率的影响，与参考类别相比较。

用glm进行R语言的Logistic回归

在本节中，你将研究一个二元逻辑回归的例子，你将用ISLR包解决这个问题，它将为你提供数据集，glm()函数一般用于拟合广义线性模型，将用于拟合逻辑回归模型。

加载数据

首先要做的是安装和加载ISLR包，它有你要使用的所有数据集。

在本教程中，你将使用股市数据集。该数据集显示了2001年至2005年间标准普尔500股票指数的每日收益率。

探索数据

让我们来探索一下。names()对于查看数据框上的内容很有用，head()是对前几行的一瞥，而summary()也很有用。

summary()函数为你提供了数据框架上每个变量的简单总结。你可以看到有成交量，收盘价，和涨跌方向。你将使用 “涨跌方向 “作为因变量，因为它显示了自前一天以来市场是上涨还是下跌。

数据的可视化

数据可视化也许是总结和了解你的数据的最快和最有用的方法。你将从单独探索数字变量开始。

直方图提供了一个数字变量的柱状图，它被分成若干个部分，其高度显示了属于每个部分的实例的数量。它们对于获得一个属性的分布特征是很有用的。

for(i in 1:8)hist(Smarket\[,i\]

这是极难看到的，但大多数变量显示出高斯或双高斯的分布。

你可以用盒状图和盒须图以不同的方式来观察数据的分布。盒子包括了数据的中间50%，线显示了中位数，图中的须线显示了数据的合理范围。任何在须线之外的点都是离群值。

for(i in 1:8) boxplot(Smarket\[,i\]

你可以看到，Lags和Today都有一个类似的范围。除此之外，没有任何离群值的迹象。

缺失数据对建模有很大影响。因此，你可以使用缺失图来快速了解数据集中的缺失数据量。X轴显示属性，Y轴显示实例。水平线表示一个实例的缺失数据，垂直块表示一个属性的缺失数据。

mis( col=c("blue", "red")

在这个数据集中没有缺失数据!

让我们开始计算每一对数字变量之间的相关性。这些成对的相关关系可以绘制在相关矩阵图中，了解哪些变量在一起变化。

corrplot(correlations, method="circle")

使用点表示法，蓝色代表正相关，红色代表负相关。点越大，相关度越大。你可以看到矩阵是对称的，对角线是完全正相关的，因为它显示了每个变量与自身的相关性。但是，没有一个变量是相互关联的。

我们来做一个数据图。有一个pair()函数可以将Smarket中的变量绘制成一个散点图矩阵。在这种情况下，”涨跌方向”，你的二元因变量，是颜色指标。

看起来这里没有什么关联性。该类变量来自于变量今日收益，所以涨和跌做了划分。

让我们来看看按方向值细分的每个变量的密度分布。像上面的散点图矩阵一样，按方向绘制的密度图可以帮助看到涨和跌的方向。它还可以帮助了解一个变量的方向的重叠情况。

Plot(x=x, y=y, plot="density", scales=scales)

你可以看到，所有这些变量的方向值都是重叠的，这意味着仅凭一两个变量很难预测上涨或下跌。

建立Logistic回归模型

现在你调用glm.fit()函数。你传递给这个函数的第一个参数是一个R公式。在这种情况下，该公式表明方向是因变量，而滞后和成交量变量是预测因素。正如你在介绍中看到的，glm通常用于拟合广义线性模型。

然而，在这种情况下，你需要明确表示你想拟合一个逻辑回归模型。你通过将族参数设置为二项式来解决这个问题。这样，你就告诉glm()把拟合一个逻辑回归模型，而不是可以拟合glm的许多其他模型中的一个。

接下来，你可以做一个summary()，它告诉你一些关于拟合的信息。

正如你所看到的，summary()返回每个系数的估计值、标准误差、z-score和p值。看上去没有一个系数是显著的。它还给出了无效偏差（仅指平均值的偏差）和残差偏差（包含所有预测因素的模型的偏差）。两者之间的差异非常小，而且有6个自由度。

你把glm.fit()的预测结果分配给glm.probs，类型等于因变量。这将对你用来拟合模型的训练数据进行预测，并给我一个拟合概率的向量。

你看一下前5个概率，它们非常接近50%。

probs\[1:5\]

现在我将根据滞后期和其他预测因素对市场是上涨还是下跌做出预测。特别是，我将通过0.5的阈值将概率变成分类。为了做到这一点，我使用ifelse()命令。

 ifelse(probs > 0.5, "Up", "Down")

glm.pred是一个真和假的向量。如果glm.probs大于0.5，glm.pred调用 "Up"；否则，调用 "False"。

在这里，你附上数据框架Smarket，并制作一个glm.pred的表格，这是上一个方向的上涨和下跌。你还可以取其中的平均值。

从表中看，对角线上的实例是你获得正确分类的地方，而对角线外的实例是你分类错误的地方。看起来你犯了很多错误。平均值给出的比例是0.52。

创建训练样本和测试样本

你怎么能做得更好呢？把数据分成训练集和测试集是一个好的策略。

#  生成训练和测试集
train = Year<2005
predict(glm.fit,
                    newdata = Smarket\[!train,\],
                    type = "response")

让我们详细看看这个代码块。

• train等于比2005年少的那一年。对于所有小于2005年的年份，你会得到一个true；否则，我会得到一个false。
• 然后你用glm.fit()重新拟合模型，只是子集等于’train’，这意味着它只拟合小于2005年的数据。
• 然后你再次对glm.probs使用predict()函数来预测大于或等于2005年的剩余数据。对于新的数据，你给了它Smarket，用!”train “作为索引（如果年份大于或等于2005，train为真）。你将类型设置为 “因变量 “以预测概率。
• 最后，你对glm.pred再次使用ifelse()函数来生成上涨和下跌变量。

你现在做一个新的变量来存储测试数据的新子集，并把它叫做Direction.2005。因变量仍然是方向。你制作一个表格并计算这个新测试集的平均值。

Direction.2005 = Direction\[!train\]

比以前的情况还糟糕。怎么会出现这种情况？

解决过度拟合的问题

好吧，你可能对数据进行了过度拟合。为了解决这个问题，你要拟合一个较小的模型，使用Lag1、Lag2、Lag3作为预测因子，从而撇开所有其他变量。代码的其余部分是一样的。

#拟合一个较小的模型
glm(family = binomial, subset = train)

好吧，你得到了59%的分类率，不算太差。使用较小的模型似乎表现得更好。

最后，你对glm.fit做一个summary()，看看是否有任何明显的变化。

没有什么变得很重要，至少P值更好了，表明对性能的预测有所提高。

结语

所以，这个关于使用glm()函数和设置族为二项式建立逻辑回归模型的R教程就结束了。glm()并不假设因变量和自变量之间的线性关系。然而，它假定logit模型中的链接函数和自变量之间存在线性关系，我希望你能学到有价值的东西。