原文链接：http://tecdat.cn/?p=21602 

原文出处：拓端数据部落公众号

正则化(regularization)

正则化路径是在正则化参数lambda的值网格上计算套索LASSO或弹性网路惩罚的正则化路径。该算法速度快，可以利用输入矩阵x中的稀疏性，拟合线性、logistic和多项式、poisson和Cox回归模型。可以通过拟合模型进行各种预测。它还可以拟合多元线性回归。”

例子

加载数据

这里加载了一个高斯(连续Y)的例子。

初始岭回归

执行k-折交叉验证 .

这个初始过程给出了基于10折交叉验证选择的最佳岭回归模型的一组系数，使用平方误差度量

作为模型性能度量。
KNNL和Hadi中提到的另一种选择lambda的方法是选择最小的lambda，这样系数的轨迹是稳定的，VIF变得足够小。在这种情况下，VIF的定义必须包括惩罚因子lambda，这在Hadi的p295和knll的p436中有说明。

是标准化的协变量矩阵. 

是原始非标准化协变量的相关矩阵 

. 该计算可定义如下。

自适应LASSO

那个惩罚系数参数允许指定系数特定的惩罚级别。这里我们使用自适应LASSO惩罚，即最佳岭系数绝对值的逆。

最终模型Rsquare

交叉验证测试集Rsquare

多项式例子

 

最终模型正确分类率

交叉验证测试集正确分类率

二元逻辑回归示例

 绘制roc曲线 

交叉验证测试集AUC

最受欢迎的见解

1.R语言多元Logistic逻辑回归 应用案例

2.面板平滑转移回归(PSTR)分析案例实现

3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

4.R语言泊松Poisson回归模型分析案例

5.R语言回归中的Hosmer-Lemeshow拟合优度检验

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.在R语言中实现Logistic逻辑回归

8.python用线性回归预测股票价格

9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标