机器学习与深度学习 / 系统课时

使用梯度裁剪

使用梯度裁剪

训练循环中如果某一步的梯度突然变得很大,参数更新会被放大,常见表现是 loss 剧烈抖动、迅速变成 nan,或循环网络在长序列上难以收敛。梯度裁剪不是修复错误梯度,而是在 backward() 之后、optimizer.step() 之前限制梯度规模,让异常大的单步更新保持在可控范围内。

学习目标

  • 使用 torch.nn.utils.clip_grad_norm_ 按全局范数裁剪梯度。
  • 选择并记录合适的 max_norm,区分“裁剪前范数”和“裁剪后范数”。
  • 在普通训练与自动混合精度训练中把裁剪放到正确位置。

全局范数裁剪做了什么

clip_grad_norm_ 会把所有参与参数的梯度视为一个整体计算范数。以默认的 2 范数为例,如果总范数不超过 max_norm,梯度保持不变;如果超过阈值,则所有梯度按同一个比例缩小,因此不会改变它们彼此的方向关系。

例如总梯度范数为 100、max_norm=1.0,裁剪系数约为 0.01。这和把每个梯度元素分别截到某个区间不同;后者应使用 clip_grad_value_。

全局梯度范数裁剪前后关系

在多数模型里,max_norm=1.0 是方便排查问题的起点,不是通用最优值。RNN、Transformer 或梯度本来较大的任务,也常见 0.5、1.0、5.0 等取值,应该结合训练日志观察裁剪触发频率,而不是只凭经验固定。

在训练步骤中正确裁剪

下面的可运行示例把线性层权重初始化为 0。一次反向传播会得到范数为 100 的梯度,再用 max_norm=1.0 裁剪后执行 SGD 更新。

python
import torch
import torch.nn.functional as F
from torch import nn

model = nn.Linear(2, 1, bias=False)
with torch.no_grad():
    model.weight.zero_()

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

x = torch.tensor([[3.0, 4.0]])
target = torch.tensor([[10.0]])

optimizer.zero_grad(set_to_none=True)
prediction = model(x)
loss = F.mse_loss(prediction, target)
loss.backward()

norm_before = model.weight.grad.norm().item()
returned_norm = torch.nn.utils.clip_grad_norm_(
    model.parameters(),
    max_norm=1.0,
    error_if_nonfinite=True,
)
norm_after = model.weight.grad.norm().item()

optimizer.step()

print(f"loss={loss.item():.4f}")
print(f"norm_before={norm_before:.4f}")
print(f"returned_norm={returned_norm.item():.4f}")
print(f"norm_after={norm_after:.4f}")
print(
    f"weight=({model.weight[0, 0].item():.4f}, "
    f"{model.weight[0, 1].item():.4f})"
)

预期输出:

text
loss=100.0000
norm_before=100.0000
returned_norm=100.0000
norm_after=1.0000
weight=(0.0600, 0.0800)

clip_grad_norm_ 的返回值是裁剪前的总范数,因此很适合直接写入训练日志。函数会原地修改各参数的 .grad,不需要把返回值再赋回梯度。

选择阈值并监控是否过度裁剪

建议先连续记录若干百到几千个 step 的裁剪前范数。例如大多数 step 位于 0.3~0.8,偶尔冲到 20,那么 max_norm=1.0 往往能压住尖峰,同时不影响大部分正常更新。如果几乎每个 step 都从 10 被压到 1,应先检查学习率、数据异常或 loss 缩放,而不是继续降低阈值。

可记录两个量:total_norm 和是否触发裁剪。判断条件直接用 total_norm > max_norm。如果启用 error_if_nonfinite=True,一旦总范数为 nan、inf 或 -inf 会立即抛错,适合调试阶段尽早定位数值问题。

与梯度累积和混合精度配合

做梯度累积时,应在多个 micro-batch 的 backward() 全部完成后再裁剪一次,然后执行 optimizer.step();如果每个 micro-batch 都裁剪,会改变最终累积梯度。

使用 torch.amp.GradScaler 时,梯度在 backward() 后仍带缩放因子,不能直接裁剪。正确顺序是 scaler.scale(loss).backward(),再调用 scaler.unscale_(optimizer),随后 clip_grad_norm_,最后 scaler.step(optimizer) 与 scaler.update()。同一个 optimizer 在一次 step 前只应调用一次 unscale_。

当训练稳定后,可以保留裁剪与范数日志:如果长时间都没有触发,说明它主要承担保护栏作用;如果触发率持续很高,则应回到学习率、输入尺度和 loss 设计继续定位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用梯度裁剪

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通