AI 与工程数学 / 系统课时

用正则化回归完成参数估计

用正则化回归完成参数估计

参数估计不能只看训练误差是否足够小,还要控制参数规模并确认数值求解真正收敛。本节把岭回归写成一个可直接交给 SciPy 的优化问题,记录损失、参数范数和求解状态,形成从建模到结果验证的完整闭环。

学习目标

  • 把带 L2 正则项的回归任务写成数值优化目标函数
  • 使用 SciPy 求解参数,并检查训练误差、参数规模和收敛状态
  • 记录数据、正则系数、初值和求解器配置,使结果能够复现

把参数估计写成目标函数

给定特征矩阵 X、观测值 y 和参数向量 w,普通最小二乘只最小化预测残差。加入 L2 正则后,可以使用目标函数 J(w)=0.5∣∣Xw−y∣∣22+0.5λ∣∣w∣∣22J(w)=0.5||Xw-y||_2^2+0.5\lambda||w||_2^2,其中 lambda 控制拟合误差和参数规模之间的权衡。

当 lambda=0 时,问题退化为普通最小二乘;随着 lambda 增大,大参数受到更强惩罚。训练误差通常会上升一些,但参数范数会减小。实际建模时,正则系数应通过验证集或交叉验证选择,而不是为了让训练损失最低而直接设为零。

本例故意使用很小的数据集,使结果可以直接核对。X 是单位矩阵,未正则化时最优参数就是观测值 [2, -1];当 lambda=1 时,岭回归最优参数会缩小到 [1, -0.5]。

用 SciPy 完成可复现求解

下面同时求解 lambda=0 和 lambda=1,但核心流程完全相同:定义损失、提供解析梯度、固定初值和算法,然后统一计算训练均方误差与参数 L2 范数。

python
import numpy as np
from scipy.optimize import minimize

X = np.eye(2)
y = np.array([2.0, -1.0])
INITIAL_W = np.zeros(2)


def solve_ridge(reg_lambda):
    # 损失由数据拟合项和 L2 正则项组成。
    def loss(w):
        residual = X @ w - y
        return 0.5 * np.dot(residual, residual) + 0.5 * reg_lambda * np.dot(w, w)

    # 提供解析梯度,避免有限差分给诊断结果引入额外误差。
    def gradient(w):
        residual = X @ w - y
        return X.T @ residual + reg_lambda * w

    result = minimize(
        loss,
        x0=INITIAL_W,
        jac=gradient,
        method='L-BFGS-B',
        options={'gtol': 1e-10, 'maxiter': 100},
    )

    prediction = X @ result.x
    mse = np.mean((prediction - y) ** 2)
    parameter_norm = np.linalg.norm(result.x)
    return result, mse, parameter_norm


ols, ols_mse, ols_norm = solve_ridge(0.0)
ridge, ridge_mse, ridge_norm = solve_ridge(1.0)

print(f'OLS success: {ols.success}')
print(f'OLS w: {np.round(ols.x, 3)}')
print(f'OLS MSE: {ols_mse:.3f}, norm: {ols_norm:.3f}')
print(f'Ridge success: {ridge.success}')
print(f'Ridge w: {np.round(ridge.x, 3)}')
print(f'Ridge MSE: {ridge_mse:.3f}, norm: {ridge_norm:.3f}')

预期输出为:

text
OLS success: True
OLS w: [ 2. -1.]
OLS MSE: 0.000, norm: 2.236
Ridge success: True
Ridge w: [ 1.  -0.5]
Ridge MSE: 0.625, norm: 1.118

这个结果展示了正则化最重要的权衡:岭回归没有追求零训练误差,而是用更小的参数换取一定的拟合误差。在真实数据中,这种约束常用于降低模型对噪声和共线性的敏感程度。

不要只检查 success

result.success=True 只说明求解器满足了自己的终止条件,并不能单独证明模型有效。参数估计至少应该从三个角度检查:训练误差反映当前数据上的拟合程度,参数范数反映正则项是否真正产生收缩效果,求解状态则说明数值算法是否正常结束。

如果增加 lambda 后参数范数几乎没有变化,应检查正则项是否真的写进损失和梯度;如果训练误差突然暴涨几个数量级,则可能是正则过强或数据尺度存在问题。如果 success=False,应先阅读 result.message,再检查梯度、变量尺度和最大迭代次数,而不是直接接受当前参数。

记录足够的信息才能复现

一个可复现的参数估计结果不能只保存最终的 w。至少应记录训练数据版本、特征处理方式、lambda、初始参数、优化方法、终止容差以及 NumPy 和 SciPy 版本。随机生成数据时还必须固定随机种子。

对于真实任务,还应把训练误差之外的验证指标一起保存。正则化的价值通常不体现在训练集上,而体现在未参与拟合的数据上。如果两个配置训练误差接近,但其中一个参数明显更稳定、验证误差更低,就应优先选择后者。

从优化角度看,完整闭环是“定义目标函数 → 求解 → 检查终止状态 → 检查拟合误差和参数规模 → 保存配置与结果”。只有这些信息能够彼此解释,得到的参数才不仅是一个数值数组,而是一份可以验证和复现的估计结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用正则化回归完成参数估计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通