本文使用lasso或非凸惩罚拟合线性回归，GLM和Cox回归模型的正则化
特别是最小最大凹度惩罚函数(MCP)和光滑切片绝对偏差惩罚（SCAD），以及其他L2惩罚的选项（ “弹性网络”）。
还提供了用于执行交叉验证以及拟合后可视化，摘要，推断和预测的实用程序。
线性回归因自变量共线性、实际分布厚尾、存在离群点等问题，OLS回归预测总误差较大。弹性网族回归（Lasso、ENet、Ridge）、非凸惩罚函数回归(SCAD、MCP)通过控制模型方差和偏差，最终降低模型预测总误差，相对于OLS回归，显著提升变量选择能力和预测的稳健性。
压缩无关变量系数为0，鲁棒性佳
Ridge回归唯一有显示解，计算简单；ENet、Lasso、SCAD、MCP回归均能将较小系数压缩至0，且选择性压缩共线性变量中的一个。Lasso、SCAD、MCP回归方法的变量选择最有效，样本外的预测效果最佳。Lasso目标函数为凸易计算，压缩无关变量系数为0，鲁棒性佳，尤其实用。SCAD满足渐近无偏性，但计算复杂。
我们研究 前列腺数据，它具有8个变量和一个连续因变量，即将进行根治性前列腺切除术的男性的PSA水平（按对数尺度）：
X <- data$X
y <- data$y 要将惩罚回归模型拟合到此数据，执行以下操作：
reg(X, y) 此处的默认惩罚是_最小_最_大凹_度_惩罚_函数_(MCP)_，但也可以使用SCAD和lasso惩罚。这将产生一个系数路径，我们可以绘制
plot(fit) 
注意，变量一次输入一个模型，并且在λ的任何给定值下，几个系数均为零。要查看系数是多少，我们可以使用以下 coef 函数：
coef(fit, lambda=0.05)
# (Intercept) lcavol lweight age lbph svi
# 0.35121089 0.53178994 0.60389694 -0.01530917 0.08874563 0.67256096
# lcp gleason pgg45
# 0.00000000 0.00000000 0.00168038 该 summary 方法可用于后_选择推断_：
summary(fit
# MCP-penalized linear regression with n=97, p=8
# At lambda=0.0500:
# -------------------------------------------------
# Nonzero coefficients : 6
# Expected nonzero coefficients: 2.54
# Average mfdr (6 features) : 0.424
#
# Estimate z mfdr Selected
# lcavol 0.53179 8.880 < 1e-04 *
# svi 0.67256 3.945 0.010189 *
# lweight 0.60390 3.666 0.027894 *
# lbph 0.08875 1.928 0.773014 *
# age -0.01531 -1.788 0.815269 *
# pgg45 0.00168 1.160 0.917570 * 在这种情况下， 即使调整了模型中的其他变量之后，lcavol， svi以及 lweight 显然与因变量关联，同时 lbph， age和 pgg45 可能只是_偶然_包括。通常，为了评估模型在λ的各种值下的预测准确性，将执行交叉验证：
plot(cvfit) 随时关注您喜欢的主题
使交叉验证误差最小的λ的值由 cvfit$lambda.min给出，在这种情况下为0.017。将coef 在return的输出 应用于 cv.ncvreg λ的值的系数：
coef
# (Intercept) lcavol lweight age lbph svi
# 0.494154801 0.569546027 0.614419811 -0.020913467 0.097352536 0.752397339
# lcp gleason pgg45
# -0.104959403 0.000000000 0.005324465 可以通过predict来获得预测值 ，该选项有多种选择：
predict(cvfit
# 预测新观测结果的响应
# 1 2 3 4 5 6
# 0.8304040 0.7650906 0.4262072 0.6230117 1.7449492 0.8449595
# 非零系数的数量
# 0.01695
# 7
# 非零系数的特性
# lcavol lweight age lbph svi lcp pgg45
# 1 2 3 4 5 6 8 请注意，原始拟合（至完整数据集）的结果为 cvfit$fit；不必同时调用两者 ncvreg 和 cv.ncvreg 分析数据集。
如， plot(cvfit$fit) 将产生与上述相同的系数路径图 plot(fit) 。
Python、R语言Lasso、Ridge岭回归、XGBoost分析Airbnb房屋数据：旅游市场差异、价格预测
Python套索回归lasso、SCAD、LARS分析棒球运动员薪水3个实例合集|附数据代码
R语言软件对房价数据预测：回归、LASSO、决策树、随机森林、GBM、神经网络和SVM可视化
Python用正则化Lasso、岭回归预测房价、随机森林交叉验证鸢尾花数据可视化2案例
