R语言多元Logistic逻辑回归 应用案例

By 大数据部落, 数理统计, 计算机科学与技术, , , , , , ,

可以使用逐步回归过程确定多元逻辑回归。此函数选择模型以最小化AIC。

WeChat Tencent QQ email print

由Kaizong Ye，Liao Bao撰写

通常建议不要盲目地遵循逐步回归程序，而是要使用拟合统计（AIC，AICc，BIC）比较模型，或者根据生物学或科学上合理的可用变量建立模型。

可下载资源

     完整程序、数据和文档（word）

多元相关是研究潜在自变量之间关系的一种工具。例如，如果两个独立变量彼此相关，可能在最终模型中都不需要这两个变量，但可能有理由选择一个变量而不是另一个变量。

×

在 stepwise regression 中，提取哪些变量主要基于的假设是：在线性条件下，哪些变量组合能够解释更多的因变量变异，则将其保留。

具体操作方法有三种：

  • Forward selection: 首先模型中只有一个单独解释因变量变异最大的自变量，之后尝试将加入另一自变量，看加入后整个模型所能解释的因变量变异是否显著增加（这里需要进行检疫，可以用 F-test， t-test 等等）；这一过程反复迭代，直到没有自变量再符合加入模型的条件。

  • Backward elimination: 与 Forward selection 相反，此时，所有变量均放入模型，之后尝试将其中一个自变量从模型中剔除，看整个模型解释因变量的变异是否有显著变化，之后将使解释量减少最少的变量剔除；此过程不断迭代，直到没有自变量符合剔除的条件。

  • Bidirectional elimination: 这种方法相当于将前两种结合起来。可以想象，如果采用第一种方法，每加入一个自变量，可能会使已存在于模型中的变量单独对因变量的解释度减小，当其的作用很小（不显著）时，则可将其从模型中剔除。而第三种方法就做了这么一件事，不是一味的增加变量，而是增加一个后，对整个模型中的所有变量进行检验，剔除作用不显著的变量。最终尽可能得到一个最优的变量组合。

可以想象，这样得到的变量组合，基于当前数据，应该是可以最大程度的解释因变量的变异，但其反面的作用就是会使模型有偏，即所谓的 overfitting 问题；另外，鉴于算法是基于变量解释度来进行特征提取的，当两个变量对因变量的影响相近时，则不免受到较大的噪声影响，使特征提取结果不稳定。

多元相关

创建数值变量的数据框



Data.num $ Status = as.numeric（Data.num $ Status）

Data.num $ Length = as.numeric（Data.num $ Length）

Data.num $ Migr = as.numeric（Data.num $ Migr）

Data.num $ Insect = as.numeric（Data.num $ Insect）

Data.num $ Diet = as.numeric（Data.num $ Diet）

Data.num $ Broods = as.numeric（Data.num $ Broods）

Data。 num $ Wood = as.numeric（Data.num $ Wood）

Data.num $ Upland = as.numeric（Data.num $ Upland）

Data.num $ Water = as.numeric（Data.num $ Water）

Data.num $ Release = as.numeric（Data.num $ Release）

Data.num $ Indiv = as.numeric（Data.num $ Indiv）

视频

贝叶斯推断线性回归与R语言预测工人工资数据

探索见解 ➜

去bilibili观看 ➜

探索更多视频 ➜

视频

逻辑回归Logistic模型原理和R语言分类预测冠心病风险实例

探索见解 ➜

去bilibili观看 ➜

探索更多视频 ➜

###检查新数据框

headtail（Data.num）

1 1 1520 9600.0 1.21 1 12 2 6.0 1 0 0 1 6 29

2 1 1250 5000.0 0.56 1 0 1 6.0 1 0 0 1 10 85

3 1 870 3360.0 0.07 1 0 1 4.0 1 0 0 1 3 8

77 0 170 31.0 0.55 3 12 2 4.0 NA 1 0 0 1 2

78 0 210 36.9 2.00 2 8 2 3.7 1 0 0 1 1 2

79 0 225 106.5 1.20 2 12 2 4.8 2 0 0 0 1 2

###检查变量之间的相关性

###注意我在这里使用了Spearman相关
2e6087f14e3b26ec7e1286ce44e2bdce.png

​

​​

多元逻辑回归的例子

在此示例中，数据包含缺失值。在R中缺失值用NA表示。SAS通常会无缝地处理缺失值。虽然这使用户更容易，但可能无法确保用户了解这些缺失值的作用。在某些情况下，R要求用户明确如何处理缺失值。处理多元回归中的缺失值的一种方法是从数据集中删除具有任何缺失值的所有观察值。这是我们在逐步回归过程之前要做的事情，创建一个名为Data.omit的数据框。但是，当我们创建最终模型时，我们只想排除那些在最终模型中实际包含的变量中具有缺失值的观察样本。为了测试最终模型的整体p值，绘制最终模型，或使用glm.compare函数，我们将创建一个名为Data.final的数据框，只排除那些观察结果。

尽管二项式和poission系列中的模型应该没问题，但是对于使用某些glm拟合的步骤过程存在一些注意事项。

用逐步回归确定模型

最终模型

​

 

summary(model.final)

 

Coefficients:

              Estimate Std. Error z value Pr(>|z|)   

(Intercept) -3.5496482  2.0827400  -1.704 0.088322 . 

Upland      -4.5484289  2.0712502  -2.196 0.028093 * 

Migr        -1.8184049  0.8325702  -2.184 0.028956 * 

Mass         0.0019029  0.0007048   2.700 0.006940 **

Indiv        0.0137061  0.0038703   3.541 0.000398 ***

Insect       0.2394720  0.1373456   1.744 0.081234 . 

Wood         1.8134445  1.3105911   1.384 0.166455

最受欢迎的见解

1.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

2.R语言多元Logistic逻辑回归 应用案例

3.R语言面板平滑转移回归(PSTR)分析案例实现

4.R语言回归中的Hosmer-Lemeshow拟合优度检验

5.R语言泊松Poisson回归模型分析案例

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.R语言如何在生存分析与Cox回归中计算IDI，NRI指标

8.在R语言中实现Logistic逻辑回归

9.R语言实现向量自回归VAR模型

伪R方

$Pseudo.R.squared.for.model.vs.null

                             Pseudo.R.squared

McFadden                             0.700475

Cox and Snell (ML)                   0.637732

Nagelkerke (Cragg and Uhler)         0.833284

偏差表分析

Analysis of Deviance Table

 

Model 1: Status ~ Upland + Migr + Mass + Indiv + Insect + Wood

Model 2: Status ~ 1

  Resid. Df Resid. Dev Df Deviance  Pr(>Chi)   

1        63     30.392                         

2        69     93.351 -6  -62.959 1.125e-11 ***

R语言泊松Poisson回归模型分析案例

阅读文章 ➜

似然比检验

Likelihood ratio test

 

  #Df  LogLik Df  Chisq Pr(>Chisq)   

1   7 -15.196                        

2   1 -46.675 -6 62.959  1.125e-11 ***

标准化残差图

​

简单预测值图

在最终模型中创建包含变量的数据框，并省略NA

​

过度离散检验

过度离散是glm的deviance残差相对于自由度较大的情况。这些值显示在模型的摘要中。

一个指导原则是，如果deviance残差与剩余自由度的比率超过1.5，则模型过度离散。

过度离散表明模型不能很好地拟合数据：解释变量可能无法很好地描述因变量，或者可能无法为这些数据正确指定模型。如果存在过度离散，一种可能的解决方案是 在glm中使用quasibinomial family选项。

 
 

    Null deviance: 93.351  on 69  degrees of freedom

Residual deviance: 30.392  on 63  degrees of freedom

 

 

 deviance /   df.residual

 

[1] 0.482417

随时关注您喜欢的主题

评估模型的替代方法

使用逐步回归程序的替代或补充是将模型与拟合统计进行比较。我的compare.glm 函数将为glm模型显示AIC，AICc，BIC和伪R平方。使用的模型应该都拟合相同的数据。也就是说，如果数据集中的不同变量包含缺失值，则应该谨慎使用。如果您对使用哪种拟合统计数据没有任何偏好，您希望在最终模型中使用较少的项，我可能会推荐AICc或BIC。

一系列模型可以与标准的anova 进行比较。模型应嵌套在先前模型中或anova函数列表中的下一个模型中; 和模型应该拟合相同的数据。在比较多个回归模型时，通常放宽p值为0.10或0.15。

在以下示例中，使用通过逐步回归过程选择的模型。请注意，虽然模型9最小化了AIC和AICc，但模型8最小化了BIC。anova结果表明模型8不是对模型7的显着改进。这些结果支持选择模型7,8或9中的任何一个。  

compareGLM(model.1, model.2, model.3, model.4, model.5, model.6,
           model.7, model.8, model.9)

 

$Models

  Formula                                                  

1 "Status ~ 1"                                             

2 "Status ~ Release"                                       

3 "Status ~ Release + Upland"                               

4 "Status ~ Release + Upland + Migr"                       

5 "Status ~ Release + Upland + Migr + Mass"                

6 "Status ~ Release + Upland + Migr + Mass + Indiv"        

7 "Status ~ Release + Upland + Migr + Mass + Indiv + Insect"

8 "Status ~ Upland + Migr + Mass + Indiv + Insect"         

9 "Status ~ Upland + Migr + Mass + Indiv + Insect + Wood"  

 

$Fit.criteria

  Rank Df.res   AIC  AICc   BIC McFadden Cox.and.Snell Nagelkerke   p.value

1    1     66 94.34 94.53 98.75   0.0000        0.0000     0.0000       Inf

2    2     65 62.13 62.51 68.74   0.3787        0.3999     0.5401 2.538e-09

3    3     64 56.02 56.67 64.84   0.4684        0.4683     0.6325 3.232e-10

4    4     63 51.63 52.61 62.65   0.5392        0.5167     0.6979 7.363e-11

5    5     62 50.64 52.04 63.87   0.5723        0.5377     0.7263 7.672e-11

6    6     61 49.07 50.97 64.50   0.6118        0.5618     0.7588 5.434e-11

7    7     60 46.42 48.90 64.05   0.6633        0.5912     0.7985 2.177e-11

8    6     61 44.71 46.61 60.14   0.6601        0.5894     0.7961 6.885e-12

9    7     60 44.03 46.51 61.67   0.6897        0.6055     0.8178 7.148e-12


Analysis of Deviance Table

 

Model 1: Status ~ 1

Model 2: Status ~ Release

Model 3: Status ~ Release + Upland

Model 4: Status ~ Release + Upland + Migr

Model 5: Status ~ Release + Upland + Migr + Mass

Model 6: Status ~ Release + Upland + Migr + Mass + Indiv

Model 7: Status ~ Release + Upland + Migr + Mass + Indiv + Insect

Model 8: Status ~ Upland + Migr + Mass + Indiv + Insect

Model 9: Status ~ Upland + Migr + Mass + Indiv + Insect + Wood

 

  Resid. Df Resid. Dev Df Deviance Pr(>Chi)   

1        66     90.343                        

2        65     56.130  1   34.213 4.94e-09 ***

3        64     48.024  1    8.106 0.004412 **

4        63     41.631  1    6.393 0.011458 * 

5        62     38.643  1    2.988 0.083872 . 

6        61     35.070  1    3.573 0.058721 . 

7        60     30.415  1    4.655 0.030970 * 

8        61     30.710 -1   -0.295 0.587066   

9        60     28.031  1    2.679 0.101686

可下载资源

关于作者

Kaizong Ye是拓端研究室（TRL）的研究员。Kaizong Ye是拓端研究室（TRL）的研究员。在此对他对本文所作的贡献表示诚挚感谢，他在上海财经大学完成了统计学专业的硕士学位，专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文，如需帮助请联系我们！

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498
微信扫一扫
关注拓端助手

关注有关新文章的微信公众号

永远不要错过任何见解。当新文章发表时，我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds