R语言自适应LASSO 多项式回归、二元逻辑回归和岭回归应用分析

正则化路径是在正则化参数lambda的值网格上计算套索LASSO或弹性网路惩罚的正则化路径。

由Kaizong Ye,Liao Bao撰写

该算法速度快,可以利用输入矩阵x中的稀疏性,拟合线性、logistic和多项式、poisson和Cox回归模型。

可以通过拟合模型进行各种预测。它还可以拟合多元线性回归。

例子

加载数据

这里加载了一个高斯(连续Y)的例子。

初始岭回归

cv.glmnet执行k-折交叉验证 .


r语言中对LASSO回归,Ridge岭回归和弹性网络Elastic Net模型实现

阅读文章


这个初始过程给出了基于10折交叉验证选择的最佳岭回归模型的一组系数,使用平方误差度量​作为模型性能度量。
KNNL和Hadi中提到的另一种选择lambda的方法是选择最小的lambda,这样系数的轨迹是稳定的,VIF变得足够小。在这种情况下,VIF的定义必须包括惩罚因子lambda,这在Hadi的p295和knll的p436中有说明。

​是标准化的协变量矩阵. ​是原始非标准化协变量的相关矩阵 ​. 该计算可定义如下。


随时关注您喜欢的主题


自适应LASSO

那个惩罚系数参数允许指定系数特定的惩罚级别。这里我们使用自适应LASSO惩罚,即最佳岭系数绝对值的逆。

最终模型Rsquare

alasso1_cv$cvm[1] 是截距模型的交叉验证测试集均方误差。

交叉验证测试集Rsquare

多项式例子

最终模型正确分类率

交叉验证测试集正确分类率

二元逻辑回归示例

 绘制ROC曲线 

交叉验证测试集AUC


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498