机器学习与深度学习 / 系统课时
梯度裁剪
梯度裁剪
梯度裁剪用于在反向传播后限制梯度整体大小,避免一次异常更新破坏模型参数。本课将把裁剪放进完整训练步骤,并同时记录裁剪前后范数,便于判断问题究竟来自梯度爆炸还是其他训练环节。
学习目标
- 理解全局梯度范数裁剪的计算与缩放方式
- 在
backward()与optimizer.step()之间正确执行裁剪 - 记录裁剪前后梯度范数并识别异常信号
梯度裁剪解决什么问题
当网络较深、序列较长或学习率偏大时,反向传播得到的梯度可能突然增大。优化器随后会执行过大的参数更新,常见表现是损失剧烈震荡、迅速变成 nan,或者模型在某个批次后再也无法恢复。全局二范数会把所有可训练参数的梯度视为一个整体:
若 超过阈值 max_norm,PyTorch 会按同一比例缩小各参数梯度,使方向基本保持不变,而整体范数被压到阈值附近。梯度裁剪只能限制更新幅度,不能修复错误标签、数值溢出或不合理的损失函数。
正确插入训练循环
裁剪必须发生在 loss.backward() 之后,因为此时梯度才已写入参数的 grad;同时必须发生在 optimizer.step() 之前,否则优化器已经使用了未裁剪梯度。下面示例故意构造较大的输入,让裁剪效果可以直接验证。
import torch
from torch import nn
def grad_l2_norm(model: nn.Module) -> torch.Tensor:
grads = [
parameter.grad.detach().norm(2)
for parameter in model.parameters()
if parameter.grad is not None
]
return torch.stack(grads).norm(2)
def main() -> None:
torch.manual_seed(7)
model = nn.Linear(1, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
criterion = nn.MSELoss()
max_norm = 1.0
x = torch.tensor([[1000.0], [2000.0]])
y = torch.tensor([[-1000.0], [-2000.0]])
optimizer.zero_grad(set_to_none=True)
loss = criterion(model(x), y)
loss.backward()
before_norm = grad_l2_norm(model)
# 返回值是裁剪前的总范数,可直接用于日志和告警。
returned_norm = torch.nn.utils.clip_grad_norm_(
model.parameters(),
max_norm=max_norm,
error_if_nonfinite=True,
)
after_norm = grad_l2_norm(model)
print(f"裁剪前超过阈值: {bool(before_norm > max_norm)}")
print(
"返回值等于裁剪前范数: "
f"{bool(torch.isclose(returned_norm, before_norm))}"
)
print(f"裁剪后不超过阈值: {bool(after_norm <= max_norm + 1e-6)}")
optimizer.step()
print("参数更新完成")
if __name__ == "__main__":
main()预期输出
裁剪前超过阈值: True
返回值等于裁剪前范数: True
裁剪后不超过阈值: True
参数更新完成记录梯度变化辅助定位
只记录损失不足以定位梯度问题。训练日志至少应同时保存裁剪前总范数、裁剪阈值、学习率和当前批次损失。若总范数偶尔越界,裁剪通常是在吸收异常批次;若几乎每一步都远超阈值,阈值可能过小,也可能说明学习率、初始化、输入尺度或网络结构需要调整。
建议先观察一段未裁剪或仅记录的训练,再根据正常范数分布设定阈值。阈值不是越小越安全:长期强制缩放会让有效梯度也变弱,表现为损失下降缓慢甚至停滞。
对循环神经网络、Transformer 或混合精度训练,梯度范数曲线尤其有价值。使用自动混合精度时,应先调用
scaler.unscale_(optimizer),再执行梯度裁剪,否则裁剪到的是放大后的梯度。
关键边界与常见错误
clip_grad_norm_() 会原地修改梯度,并返回裁剪前范数。若参数没有梯度,它会被忽略;若梯度中出现 nan 或 inf,可通过 error_if_nonfinite=True 尽早中止训练,而不是让异常继续传播。
不要把梯度裁剪当作默认补丁。损失持续为 nan 时,应先检查输入是否有限、损失计算是否稳定、混合精度缩放是否正确,以及学习率是否过大。只有确认主要问题是更新幅度失控后,裁剪才是合适的保护措施。