大模型原理与训练 / 系统课时

梯度裁剪与累积

梯度裁剪与累积

显存不足和梯度突然变大是 Transformer 训练中的两类常见问题。本课将把梯度裁剪与梯度累积放进同一条训练循环,说明它们的执行顺序、参数含义和验证方法,并通过可运行示例观察真实更新结果。

学习目标

  • 理解梯度裁剪控制的对象以及正确执行时机
  • 使用梯度累积计算有效批次大小并减少显存占用
  • 编写包含反向传播、裁剪、更新和清零的完整训练步骤

两种技术分别解决什么问题

梯度裁剪用于限制一次参数更新前的梯度规模。当梯度范数突然增大时,它按比例缩小所有梯度,避免一次异常更新破坏已经学到的参数。它不会修复错误数据或不合理的学习率,只是为训练增加一道稳定性保护。

梯度累积用于把多个微批次的梯度先累加,再执行一次优化器更新。有效批次大小可写成“单卡微批次大小 × 累积步数 × 数据并行卡数”。它减少单次前向与反向传播占用的显存,但不会减少完成同样样本量所需的总计算。

梯度累积与裁剪执行流程

梯度裁剪如何生效

最常见的是按全局范数裁剪。先计算全部参数梯度组成的整体范数;若它超过阈值 max_norm,就按相同比例缩小各参数梯度。这样能保留梯度方向,同时限制总更新幅度。

执行位置必须是 backward() 之后、optimizer.step() 之前。若使用自动混合精度,应先把缩放后的梯度还原,再裁剪;否则裁剪的是放大后的数值,阈值将失去实际意义。裁剪函数返回的通常是裁剪前范数,可用于日志监控。

梯度累积如何模拟大批次

假设显存一次只能容纳 8 个样本,希望模拟批次 32,可把 accumulation_steps 设为 4。每个微批次都执行反向传播,但前 3 次不更新参数,也不清空梯度;第 4 次完成后再统一裁剪和更新。

每个微批次的损失通常要除以累积步数,使累积后的梯度与一次处理完整大批次时的平均梯度尺度一致。若不做除法,梯度会被放大,等价于改变了学习率。

可运行示例

下面使用一个只有单个权重的 PyTorch 线性模型。四个样本按两个微批次累积一次更新,并在每次更新前把全局梯度范数裁剪到 5。

python
import torch
from torch import nn

model = nn.Linear(1, 1, bias=False)
with torch.no_grad():
    model.weight.fill_(1.0)

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
inputs = torch.tensor([[10.0], [20.0], [30.0], [40.0]])
targets = torch.zeros_like(inputs)

accumulation_steps = 2
max_norm = 5.0
optimizer.zero_grad()

for index, (x, y) in enumerate(zip(inputs, targets), start=1):
    prediction = model(x)
    # 除以累积步数,保持平均梯度尺度不变
    loss = nn.functional.mse_loss(prediction, y) / accumulation_steps
    loss.backward()

    if index % accumulation_steps == 0:
        # 先裁剪,再更新;返回值是裁剪前的全局范数
        norm_before_clip = torch.nn.utils.clip_grad_norm_(
            model.parameters(),
            max_norm,
        )
        optimizer.step()
        optimizer.zero_grad()

        print(
            f"update={index // accumulation_steps}, "
            f"norm_before_clip={norm_before_clip.item():.2f}, "
            f"weight={model.weight.item():.4f}"
        )

预期输出

text
update=1, norm_before_clip=500.00, weight=0.5000
update=2, norm_before_clip=1250.00, weight=-0.0000

输出中的范数远大于 5,但权重每次只按裁剪后的梯度更新。第二次结果显示为 -0.0000,只是浮点数格式化产生的负零表示,数值实际非常接近 0。

正确的训练循环顺序

一个累积周期应按固定顺序执行:先清零梯度,再对每个微批次完成前向传播、缩放损失和反向传播;达到累积步数后执行梯度还原、梯度裁剪、优化器更新、学习率调度和再次清零。

学习率调度器应只在 optimizer.step() 后推进一次。若每个微批次都推进,学习率会比预期更快衰减。训练集样本数不能被累积步数整除时,最后不足一组的微批次也要执行一次更新,否则对应样本的梯度会被丢弃。

验证与边界

训练日志至少记录裁剪前梯度范数、当前学习率、累积计数和是否执行了参数更新。若范数长期远高于阈值,说明裁剪一直在强行压制更新,应继续检查学习率、数据异常和损失缩放,而不是只调大阈值。

梯度累积只能近似大批次训练。含有批次统计的层、随机失活以及分布式通信时,微批次执行过程与真正的大批次并不完全相同。对 Transformer 常见的 LayerNorm 而言影响通常较小,但仍应以验证集结果判断是否需要调整学习率。

本课总结

  • 梯度裁剪在反向传播后、参数更新前限制异常梯度,保护训练稳定性
  • 梯度累积通过延迟更新模拟更大有效批次,损失通常需除以累积步数
  • 裁剪、调度器推进和梯度清零都应以真实优化器更新为边界

下一课预告

下一课将继续完善训练流程,结合验证集指标、检查点保存和早停策略,判断模型何时真正收敛并保留最佳参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度裁剪与累积

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通