机器学习与深度学习 / 系统课时

权重衰减与参数约束

权重衰减与参数约束

模型在训练集上持续降低损失时,参数可能变得过大并记住噪声。本课从目标函数和参数更新两条路径理解 L1、L2 与解耦权重衰减,并用 PyTorch 验证 AdamW 如何只衰减指定参数。

学习目标

  • 解释 L1、L2 正则化如何限制参数规模
  • 区分 L2 正则项与解耦权重衰减
  • 在 PyTorch 中正确配置需要衰减和不应衰减的参数

参数约束解决什么问题

仅最小化训练损失时,模型会优先寻找能贴合当前样本的参数组合,其中可能包含绝对值很大的权重。大权重会放大输入扰动,使模型对训练数据中的偶然模式更敏感。参数约束通过偏好“更简单”的解,降低这种敏感性。

常见做法是在原始损失后增加惩罚项。L1 使用参数绝对值之和,L2 使用参数平方和:

LL1=Ldata+λ∑i∣θi∣L_{L1}=L_{data}+\lambda\sum_i |\theta_i|
LL2=Ldata+λ2∑iθi2L_{L2}=L_{data}+\frac{\lambda}{2}\sum_i \theta_i^2

其中,λ\lambda 控制约束强度。它越大,参数被压缩得越明显,但过大也会造成欠拟合。

L1、L2与权重衰减关系示意图

L1 与 L2 的差异

L1 的梯度在参数非零时主要取决于符号,因此会以近似固定力度把参数推向零,容易得到稀疏权重。它适合希望自动筛除部分特征的场景,但在零点不可导,优化时通常依赖次梯度。

L2 的梯度与参数值成正比:参数越大,受到的回拉越强;参数越小,回拉越弱。它通常不会直接产生大量精确零值,却能让参数分布更平滑,是神经网络中更常见的默认选择。

方法 主要效果 常见注意点
L1 促进稀疏,部分参数变为零 可能让优化更不平滑
L2 平滑压缩大参数 通常不会产生精确稀疏
解耦权重衰减 在优化器更新外直接缩小参数 衰减系数需与学习率共同调节

为什么要解耦权重衰减

在普通随机梯度下降中,把 L2 惩罚加入损失后,参数更新可写为:

θt+1=(1−ηλ)θt−η∇Ldata(θt)\theta_{t+1}=(1-\eta\lambda)\theta_t-\eta\nabla L_{data}(\theta_t)

它看起来等价于先按比例缩小参数,再执行梯度更新。但在 Adam 等自适应优化器中,梯度会被动量和二阶矩重新缩放,L2 惩罚产生的梯度也会一起被缩放,因此不再等价于直接衰减参数。

AdamW 将两件事分开:自适应梯度负责优化数据损失,权重衰减独立地按比例缩小参数。这样衰减含义更稳定,也更便于单独调节。

使用 PyTorch 配置 AdamW

下面用一个可运行的最小示例验证:权重组设置衰减,偏置组不设置衰减;即使梯度为零,权重仍会按比例缩小。

python
import torch
from torch import nn

weight = nn.Parameter(torch.tensor([2.0]))
bias = nn.Parameter(torch.tensor([1.0]))

optimizer = torch.optim.AdamW(
    [
        {"params": [weight], "weight_decay": 0.1},
        {"params": [bias], "weight_decay": 0.0},
    ],
    lr=0.01,
)

# 使用零梯度隔离出权重衰减本身的效果
weight.grad = torch.zeros_like(weight)
bias.grad = torch.zeros_like(bias)
optimizer.step()

print(f"weight={weight.item():.4f}")
print(f"bias={bias.item():.4f}")
print([group["weight_decay"] for group in optimizer.param_groups])

预期输出:

text
weight=1.9980
bias=1.0000
[0.1, 0.0]

实际模型通常把线性层和卷积层的权重放入衰减组,把偏置、归一化层的缩放参数与偏移参数放入不衰减组。这样可以避免对本就低维、承担校准作用的参数施加不必要约束。

选择与调参边界

优先从较小的衰减系数开始,并同时观察训练损失与验证损失。若训练损失明显升高且验证效果也变差,约束可能过强;若训练效果很好而验证差距持续扩大,才考虑增强衰减。

L1、L2 与 AdamW 的 weight_decay 不能只按数值直接比较。优化器、学习率、训练步数和参数分组都会改变实际作用强度,因此应在固定训练预算下通过验证集选择。

本课总结

  • L1 倾向产生稀疏参数,L2 倾向平滑压缩大参数
  • AdamW 将参数衰减与自适应梯度更新解耦,含义比直接加入 L2 更清晰
  • 偏置和归一化参数通常不参与权重衰减,应使用参数分组控制

下一课预告

下一课将学习 Dropout 如何在训练阶段随机屏蔽神经元,并理解它为何必须在推理阶段关闭。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

权重衰减与参数约束

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通