机器学习与深度学习 / 系统课时

使用 Lasso 回归

使用 Lasso 回归

当输入包含许多特征时,普通线性回归可能给无关变量分配非零权重。Lasso 在拟合误差之外加入 L1 惩罚,可以压缩系数并让部分系数恰好为零。本课通过可运行示例检查预测变化,并说明这些零系数应如何解读。

学习目标

  • 理解 L1 正则化如何产生稀疏系数
  • 运行 Lasso,核对系数与预测值
  • 识别强相关特征下的筛选不稳定问题

Lasso 与 Ridge 的差异

Lasso 使用系数绝对值惩罚,能够把部分系数压到精确的 0;Ridge 使用系数平方惩罚,通常只把系数变小。两者的 alpha 都用于控制惩罚强度,但数值不能直接视作等价。

在 scikit-learn 中,Lasso 最小化的目标是:

12n∑i=1n(yi−y^i)2+α∑j=1p∣wj∣\frac{1}{2n}\sum_{i=1}^{n}(y_i-\hat y_i)^2+\alpha\sum_{j=1}^{p}|w_j|

第一项是拟合误差,第二项是系数绝对值惩罚。L1 惩罚在零点有折角,所以较弱的特征可能被压到零;alpha 增大通常会得到更稀疏的模型,但过大会造成欠拟合。

Lasso 与 Ridge 的系数收缩路径对比

完整示例

将代码保存为 lasso_demo.py,运行前确保已安装 numpy 与 scikit-learn。本例使用单个线性特征隔离正则化效果,并通过 fit_intercept=False 固定截距为零,便于手算核对。

python
import numpy as np
from sklearn.linear_model import Lasso

x = np.array([[-2.0], [-1.0], [0.0], [1.0], [2.0]])
y = 3 * x.ravel()

# 固定截距和 alpha,便于观察 L1 对系数的直接压缩
model = Lasso(alpha=0.5, fit_intercept=False, max_iter=10000)
model.fit(x, y)

print("系数:", round(model.coef_[0], 2))
print("x=3 的预测:", round(model.predict([[3.0]])[0], 2))

运行命令:

bash
python lasso_demo.py

预期输出:

text
系数: 2.75
x=3 的预测: 8.25

未加惩罚时,拟合系数为 3。这里样本的 ∑xi2/n=2\sum x_i^2/n=2,在正系数区间内最优值为 w=3−α/2w=3-\alpha/2;取 alpha=0.5 得 2.75,因此输入 3 的预测为 8.25。把 alpha 改成 6 并重跑,预期系数和预测值都变为 0:此时惩罚已把唯一特征完全剔除。

筛选结果的边界

Lasso 同样需要特征标准化。原始特征尺度差异大时,惩罚对各列不公平;实际训练可用 Pipeline 串联 StandardScaler 和 Lasso,确保标准化只根据训练数据拟合,避免测试集信息泄漏。

多个特征高度相关时,Lasso 可能保留其中一个、把其余压为零,换一批样本又改选另一个。因此系数为零不等于该特征没有业务价值,保留一个变量也不代表它有因果关系。应通过交叉验证选择 alpha,同时比较验证集误差、非零系数数量以及不同划分下的入选稳定性。

本例只有一个特征,适合验证系数收缩,不足以证明多特征筛选质量;而 x=3 超出了训练样本的 [-2, 2] 范围,属于外推,预测数值正确也不意味着外推效果可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Lasso 回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通