机器学习与深度学习 / 系统课时
使用 Lasso 回归
使用 Lasso 回归
当输入包含许多特征时,普通线性回归可能给无关变量分配非零权重。Lasso 在拟合误差之外加入 L1 惩罚,可以压缩系数并让部分系数恰好为零。本课通过可运行示例检查预测变化,并说明这些零系数应如何解读。
学习目标
- 理解 L1 正则化如何产生稀疏系数
- 运行 Lasso,核对系数与预测值
- 识别强相关特征下的筛选不稳定问题
Lasso 与 Ridge 的差异
Lasso 使用系数绝对值惩罚,能够把部分系数压到精确的 0;Ridge 使用系数平方惩罚,通常只把系数变小。两者的 alpha 都用于控制惩罚强度,但数值不能直接视作等价。
在 scikit-learn 中,Lasso 最小化的目标是:
第一项是拟合误差,第二项是系数绝对值惩罚。L1 惩罚在零点有折角,所以较弱的特征可能被压到零;alpha 增大通常会得到更稀疏的模型,但过大会造成欠拟合。

完整示例
将代码保存为 lasso_demo.py,运行前确保已安装 numpy 与 scikit-learn。本例使用单个线性特征隔离正则化效果,并通过 fit_intercept=False 固定截距为零,便于手算核对。
import numpy as np
from sklearn.linear_model import Lasso
x = np.array([[-2.0], [-1.0], [0.0], [1.0], [2.0]])
y = 3 * x.ravel()
# 固定截距和 alpha,便于观察 L1 对系数的直接压缩
model = Lasso(alpha=0.5, fit_intercept=False, max_iter=10000)
model.fit(x, y)
print("系数:", round(model.coef_[0], 2))
print("x=3 的预测:", round(model.predict([[3.0]])[0], 2))运行命令:
python lasso_demo.py预期输出:
系数: 2.75
x=3 的预测: 8.25未加惩罚时,拟合系数为 3。这里样本的 ,在正系数区间内最优值为 ;取 alpha=0.5 得 2.75,因此输入 3 的预测为 8.25。把 alpha 改成 6 并重跑,预期系数和预测值都变为 0:此时惩罚已把唯一特征完全剔除。
筛选结果的边界
Lasso 同样需要特征标准化。原始特征尺度差异大时,惩罚对各列不公平;实际训练可用 Pipeline 串联 StandardScaler 和 Lasso,确保标准化只根据训练数据拟合,避免测试集信息泄漏。
多个特征高度相关时,Lasso 可能保留其中一个、把其余压为零,换一批样本又改选另一个。因此系数为零不等于该特征没有业务价值,保留一个变量也不代表它有因果关系。应通过交叉验证选择 alpha,同时比较验证集误差、非零系数数量以及不同划分下的入选稳定性。
本例只有一个特征,适合验证系数收缩,不足以证明多特征筛选质量;而 x=3 超出了训练样本的 [-2, 2] 范围,属于外推,预测数值正确也不意味着外推效果可靠。