机器学习与深度学习 / 系统课时
使用梯度裁剪
使用梯度裁剪
训练循环中如果某一步的梯度突然变得很大,参数更新会被放大,常见表现是 loss 剧烈抖动、迅速变成 nan,或循环网络在长序列上难以收敛。梯度裁剪不是修复错误梯度,而是在 backward() 之后、optimizer.step() 之前限制梯度规模,让异常大的单步更新保持在可控范围内。
学习目标
- 使用
torch.nn.utils.clip_grad_norm_按全局范数裁剪梯度。 - 选择并记录合适的
max_norm,区分“裁剪前范数”和“裁剪后范数”。 - 在普通训练与自动混合精度训练中把裁剪放到正确位置。
全局范数裁剪做了什么
clip_grad_norm_ 会把所有参与参数的梯度视为一个整体计算范数。以默认的 2 范数为例,如果总范数不超过 max_norm,梯度保持不变;如果超过阈值,则所有梯度按同一个比例缩小,因此不会改变它们彼此的方向关系。
例如总梯度范数为 100、max_norm=1.0,裁剪系数约为 0.01。这和把每个梯度元素分别截到某个区间不同;后者应使用 clip_grad_value_。

在多数模型里,max_norm=1.0 是方便排查问题的起点,不是通用最优值。RNN、Transformer 或梯度本来较大的任务,也常见 0.5、1.0、5.0 等取值,应该结合训练日志观察裁剪触发频率,而不是只凭经验固定。
在训练步骤中正确裁剪
下面的可运行示例把线性层权重初始化为 0。一次反向传播会得到范数为 100 的梯度,再用 max_norm=1.0 裁剪后执行 SGD 更新。
import torch
import torch.nn.functional as F
from torch import nn
model = nn.Linear(2, 1, bias=False)
with torch.no_grad():
model.weight.zero_()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
x = torch.tensor([[3.0, 4.0]])
target = torch.tensor([[10.0]])
optimizer.zero_grad(set_to_none=True)
prediction = model(x)
loss = F.mse_loss(prediction, target)
loss.backward()
norm_before = model.weight.grad.norm().item()
returned_norm = torch.nn.utils.clip_grad_norm_(
model.parameters(),
max_norm=1.0,
error_if_nonfinite=True,
)
norm_after = model.weight.grad.norm().item()
optimizer.step()
print(f"loss={loss.item():.4f}")
print(f"norm_before={norm_before:.4f}")
print(f"returned_norm={returned_norm.item():.4f}")
print(f"norm_after={norm_after:.4f}")
print(
f"weight=({model.weight[0, 0].item():.4f}, "
f"{model.weight[0, 1].item():.4f})"
)预期输出:
loss=100.0000
norm_before=100.0000
returned_norm=100.0000
norm_after=1.0000
weight=(0.0600, 0.0800)clip_grad_norm_ 的返回值是裁剪前的总范数,因此很适合直接写入训练日志。函数会原地修改各参数的 .grad,不需要把返回值再赋回梯度。
选择阈值并监控是否过度裁剪
建议先连续记录若干百到几千个 step 的裁剪前范数。例如大多数 step 位于 0.3~0.8,偶尔冲到 20,那么 max_norm=1.0 往往能压住尖峰,同时不影响大部分正常更新。如果几乎每个 step 都从 10 被压到 1,应先检查学习率、数据异常或 loss 缩放,而不是继续降低阈值。
可记录两个量:total_norm 和是否触发裁剪。判断条件直接用 total_norm > max_norm。如果启用 error_if_nonfinite=True,一旦总范数为 nan、inf 或 -inf 会立即抛错,适合调试阶段尽早定位数值问题。
与梯度累积和混合精度配合
做梯度累积时,应在多个 micro-batch 的 backward() 全部完成后再裁剪一次,然后执行 optimizer.step();如果每个 micro-batch 都裁剪,会改变最终累积梯度。
使用 torch.amp.GradScaler 时,梯度在 backward() 后仍带缩放因子,不能直接裁剪。正确顺序是 scaler.scale(loss).backward(),再调用 scaler.unscale_(optimizer),随后 clip_grad_norm_,最后 scaler.step(optimizer) 与 scaler.update()。同一个 optimizer 在一次 step 前只应调用一次 unscale_。
当训练稳定后,可以保留裁剪与范数日志:如果长时间都没有触发,说明它主要承担保护栏作用;如果触发率持续很高,则应回到学习率、输入尺度和 loss 设计继续定位。