机器学习与深度学习 / 系统课时

使用 Ridge 回归

使用 Ridge 回归

当特征高度相关或训练样本较少时,普通线性回归的系数可能因少量数据变化而明显波动。Ridge 通过 L2 正则化限制系数幅度。本课使用三条样本训练模型,观察系数收缩后的预测结果,并学习如何选择合适的正则化强度。

学习目标

  • 理解 L2 正则化的作用,以及它如何改变线性回归的拟合目标。
  • 运行 Ridge 示例,验证系数被压缩后的结果。
  • 理解 alpha 的含义,掌握正则化强度的选择方法。

Ridge 如何约束模型

Ridge 在拟合误差之外增加系数平方惩罚。对于不包含截距的线性模型,其优化目标可以写成:

L=∑i=1n(yi−y^i)2+α∑j=1pwj2L=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2+\alpha\sum_{j=1}^{p}w_j^2

其中,第一项是残差平方和,第二项是 L2 正则化惩罚,wjw_j 表示第 jj 个特征的系数,α\alpha 控制惩罚强度。

  • alpha=0:不施加正则化,目标退化为普通最小二乘。
  • alpha=1:在拟合误差与系数幅度之间施加一定约束。
  • alpha 更大:模型更倾向于使用较小系数,但惩罚过强可能导致欠拟合。

Ridge 通常不会直接把系数压缩为零,因此它主要用于稳定系数,而不是自动删除特征。对于带截距的模型,截距项通常不参与 L2 惩罚。

完整示例

将代码保存为 ridge_demo.py。示例使用一个特征,并关闭截距,便于直接观察 L2 惩罚对系数的收缩。真实业务中的模型不一定需要关闭截距。

python
import numpy as np
from sklearn.linear_model import Ridge

x = np.array([[1.0], [2.0], [3.0]])
y = np.array([2.0, 4.0, 6.0])

# 关闭截距,便于直接观察 L2 惩罚对系数的收缩
model = Ridge(alpha=1.0, fit_intercept=False)
model.fit(x, y)

print("系数:", round(model.coef_[0], 4))
print("x=4 的预测:", round(model.predict([[4.0]])[0], 4))

在已安装 numpy 和 scikit-learn 的 Python 环境中运行命令:

bash
python ridge_demo.py

预期输出:

text
系数: 1.8667
x=4 的预测: 7.4667

验证系数为什么变小

原始三条训练样本分别为 (1,2)、(2,4) 和 (3,6),它们都满足 y=2xy=2x。如果不施加正则化,并且关闭截距,普通最小二乘得到的系数就是 2。

对于这组数据,∑xi2=14\sum x_i^2=14,∑xiyi=28\sum x_iy_i=28。Ridge 的最优系数可以直接计算为:

w=2814+αw=\frac{28}{14+\alpha}

当 α=1\alpha=1 时,系数为 28/15≈1.866728/15\approx1.8667,小于原来的 2。输入 x=4x=4 时,模型的预测值约为 4×1.8667=7.46674\times1.8667=7.4667,与程序输出一致。

可以将代码中的 alpha=1.0 改为 alpha=10.0,重新运行验证。预期系数约为 1.1667,x=4 的预测值约为 4.6667。这说明更强的正则化会进一步压缩系数,同时改变预测结果。

训练要点与参数选择

Ridge 对特征尺度敏感。例如,年龄以年为单位,收入以元为单位时,相同的系数惩罚可能对两类特征产生不同影响。实际训练通常先使用 StandardScaler 标准化特征,再进行 Ridge 拟合。

推荐将 StandardScaler 与 Ridge 放入同一个 Pipeline,避免先在全量数据上计算标准化统计量而造成数据泄漏。

正则化强度应在训练数据内部通过交叉验证选择,而不能根据测试集结果反复调整。可以按照以下顺序操作:

  1. 先将原始数据划分为训练集和测试集,测试集暂不参与模型选择。
  2. 在训练集上使用交叉验证,尝试 alpha 候选值 0.01、0.1、1、10、100。
  3. 每一折只使用该折训练部分拟合标准化参数和 Ridge 模型,再在验证部分计算均方误差(MSE)。
  4. 选择交叉验证误差较小的 alpha,在完整训练集上重新拟合流水线。
  5. 最后在独立测试集上评估一次,检查模型对未见数据的预测效果。

如果 alpha 过小,Ridge 对系数波动的抑制可能不足;如果 alpha 过大,训练误差和验证误差都可能升高。样本过少时,交叉验证的结果也可能不稳定,需要结合样本量判断。

Ridge 适合希望保留全部特征、同时缓解系数不稳定问题的线性回归任务。如果目标是让部分系数直接变为零,从而执行特征选择,可以进一步考虑 Lasso。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Ridge 回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通