机器学习与深度学习 / 系统课时
使用 Ridge 回归
使用 Ridge 回归
当特征高度相关或训练样本较少时,普通线性回归的系数可能因少量数据变化而明显波动。Ridge 通过 L2 正则化限制系数幅度。本课使用三条样本训练模型,观察系数收缩后的预测结果,并学习如何选择合适的正则化强度。
学习目标
- 理解 L2 正则化的作用,以及它如何改变线性回归的拟合目标。
- 运行 Ridge 示例,验证系数被压缩后的结果。
- 理解
alpha的含义,掌握正则化强度的选择方法。
Ridge 如何约束模型
Ridge 在拟合误差之外增加系数平方惩罚。对于不包含截距的线性模型,其优化目标可以写成:
其中,第一项是残差平方和,第二项是 L2 正则化惩罚, 表示第 个特征的系数, 控制惩罚强度。
alpha=0:不施加正则化,目标退化为普通最小二乘。alpha=1:在拟合误差与系数幅度之间施加一定约束。alpha更大:模型更倾向于使用较小系数,但惩罚过强可能导致欠拟合。
Ridge 通常不会直接把系数压缩为零,因此它主要用于稳定系数,而不是自动删除特征。对于带截距的模型,截距项通常不参与 L2 惩罚。
完整示例
将代码保存为 ridge_demo.py。示例使用一个特征,并关闭截距,便于直接观察 L2 惩罚对系数的收缩。真实业务中的模型不一定需要关闭截距。
import numpy as np
from sklearn.linear_model import Ridge
x = np.array([[1.0], [2.0], [3.0]])
y = np.array([2.0, 4.0, 6.0])
# 关闭截距,便于直接观察 L2 惩罚对系数的收缩
model = Ridge(alpha=1.0, fit_intercept=False)
model.fit(x, y)
print("系数:", round(model.coef_[0], 4))
print("x=4 的预测:", round(model.predict([[4.0]])[0], 4))在已安装 numpy 和 scikit-learn 的 Python 环境中运行命令:
python ridge_demo.py预期输出:
系数: 1.8667
x=4 的预测: 7.4667验证系数为什么变小
原始三条训练样本分别为 (1,2)、(2,4) 和 (3,6),它们都满足 。如果不施加正则化,并且关闭截距,普通最小二乘得到的系数就是 2。
对于这组数据,,。Ridge 的最优系数可以直接计算为:
当 时,系数为 ,小于原来的 2。输入 时,模型的预测值约为 ,与程序输出一致。
可以将代码中的 alpha=1.0 改为 alpha=10.0,重新运行验证。预期系数约为 1.1667,x=4 的预测值约为 4.6667。这说明更强的正则化会进一步压缩系数,同时改变预测结果。
训练要点与参数选择
Ridge 对特征尺度敏感。例如,年龄以年为单位,收入以元为单位时,相同的系数惩罚可能对两类特征产生不同影响。实际训练通常先使用 StandardScaler 标准化特征,再进行 Ridge 拟合。
推荐将 StandardScaler 与 Ridge 放入同一个 Pipeline,避免先在全量数据上计算标准化统计量而造成数据泄漏。
正则化强度应在训练数据内部通过交叉验证选择,而不能根据测试集结果反复调整。可以按照以下顺序操作:
- 先将原始数据划分为训练集和测试集,测试集暂不参与模型选择。
- 在训练集上使用交叉验证,尝试
alpha候选值0.01、0.1、1、10、100。 - 每一折只使用该折训练部分拟合标准化参数和 Ridge 模型,再在验证部分计算均方误差(MSE)。
- 选择交叉验证误差较小的
alpha,在完整训练集上重新拟合流水线。 - 最后在独立测试集上评估一次,检查模型对未见数据的预测效果。
如果 alpha 过小,Ridge 对系数波动的抑制可能不足;如果 alpha 过大,训练误差和验证误差都可能升高。样本过少时,交叉验证的结果也可能不稳定,需要结合样本量判断。
Ridge 适合希望保留全部特征、同时缓解系数不稳定问题的线性回归任务。如果目标是让部分系数直接变为零,从而执行特征选择,可以进一步考虑 Lasso。