可下载资源

如何检测过度拟合？

最基本的交叉验证实现类型是基于保留数据集的交叉验证。该实现将可用数据分为训练集和测试集。

我们了解了过度拟合是什么，以及如何使用基于保留数据集的交叉验证技术来检测模型是否过度拟合。让我们获取一些数据，并在数据上实施这些技术，以检测我们的模型是否过度拟合。

为了获得我们模型的”最佳”实现，我们可以使用优化算法来确定最大化或最小化目标函数的一组输入。通常，在机器学习中，我们希望最小化目标函数以降低模型的误差。这就是为什么目标函数在从业者中被称为损失函数的原因，但也可以称为成本函数。

有大量流行的优化算法，包括：

• 斐波那契搜索
• 二分法
• 线性搜索
• 梯度下降
• …等等

# 导入所需模块

import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 加载数据

df = pd.read_csv

# 选择一个特征
# 为了简单起见，只使用100个实例
X = df.loc[:100, 5]
y = df.loc[:100, 13] # 目标标签

# 重塑数据
X_reshaped = X[:, np.newaxis]
y_reshaped = y[:, np.newaxis]

# 实例化线性回归模型
linear_regression = LinearRegression()

# 训练模型
linea

# 进行预测
y_p

# 评估模型
mse = mea_squared_rrr(_esaped y_red)
print(f"均方误差：{mse}\n")

# 绘制最佳拟合线
sns.sca

>>>> 均方误差：9.7

在接下来的部分，我们将深入探讨L1和L2正则化背后的直觉。

L1 正则化

L1 正则化，也被称为 L1 范数或 Lasso（在回归问题中），通过将参数收缩到0来防止过拟合。这使得某些特征变得不相关。

数学上，我们通过扩展损失函数来表达 L1 正则化：

实质上，当我们使用L1正则化时，我们对权重的绝对值进行惩罚。

尽管如此，在我们的示例回归问题中，Lasso回归（带有L1正则化的线性回归）将产生一个高度可解释的模型，并且只使用了输入特征的子集，从而降低了模型的复杂性。

import warnings
warnings.filterwarnings("ignore")

import numpy as np

from sklearn.metrics import mean_squared_error

# 加载数据

df = pd.read_csv(URL, header=None)

# 选择单个特征（为简单起见，仅使用100个实例）
y = df.loc[:100, 13] # 目标标签 

# 重塑数据
y_reshaped = y[:, np.newaxis]

# 实例化Lasso回归模型
lasso = Lasso

# 训练模型
lassped)

# 进行预测
y_predict(X_eshed)

# 评估模型
print(f"均方误差：{mse}")
print(f"模型系数：{lasso.coef_}\n")

# 绘制最佳拟合线
plt.show()

输出结果为：

均方误差：34.7
模型系数：[0.]

L1正则化和L2正则化的区别：

• L1正则化对权重的绝对值之和进行惩罚，而L2正则化对权重的平方和进行惩罚。
• L1正则化的解是稀疏的，而L2正则化的解是非稀疏的。
• L2正则化不进行特征选择，因为权重只会被减小到接近于0的值，而不是变为0。L1正则化内置了特征选择功能。
• L1正则化对异常值具有鲁棒性，而L2正则化没有。

Python中Ridge回归的示例代码：

from sklearn.linear_model import LinearRegression, Lasso, Ridge
from sklearn.metrics import mean_squared_error

# 加载数据

df = pd.read_csv(URL, header=None)

# 为简单起见，选择一个特征和100个实例
y = df.loc[:100, 13] # 目标标签

# 重塑数据
X_reshaped = X[:, np.newaxis]

# 实例化、训练和推断
ridge = Rdge(apha=100)

print(f"均方误差：{mse}")
print(f"模型系数：{ridge.coef_}\n")

sns.scatterplot(X,y)
plt.show()

>>>> 均方误差：25.96309109305436
模型系数：[[1.98542524]]

观察Ridge回归模型中的alpha值，它为100。超参数alpha值越大，权重值越接近于0，但不会变为0。

L1正则化和L2正则化哪个更好？

哪种正则化方法更好是一个供学者们争论的问题。然而，作为实践者，在选择L1和L2正则化之间需要考虑一些重要因素。我将它们分为6个类别，并告诉你每个类别哪个解决方案更好。

哪个解决方案更鲁棒？ L1

L1正则化比L2正则化更具鲁棒性，原因是L2正则化对权重进行平方处理，因此数据中的异常值的代价呈指数增长。L1正则化对权重取绝对值，所以代价只会线性增长。

哪个解决方案具有更多可能性？ L1

我指的是到达一个点的解决方案的数量。L1正则化使用曼哈顿距离到达一个点，所以有很多路线可以走到达一个点。L2正则化使用欧几里得距离，这将告诉您最快到达某个点的方法。这意味着L2范数只有一个可能的解决方案。

如前所述，L2正则化仅将权重缩小到接近于0的值，而不是真正变为0。另一方面，L1正则化将值收缩到0。这实际上是一种特征选择的形式，因为某些特征完全从模型中删除了。

总结

在本文中，我们探讨了过拟合是什么，如何检测过拟合，损失函数是什么，正则化是什么，为什么需要正则化，L1和L2正则化的工作原理以及它们之间的区别。