高等数学 / 系统课时

梯度累积与清零

梯度累积与清零

本课解释自动微分框架为什么会把多次反向传播的结果相加,并给出训练循环中清零梯度的正确位置。掌握这一点,可以避免参数更新使用上一轮残留梯度。

学习目标

  • 说明梯度默认累积的原因
  • 正确安排清零、反向传播和参数更新的顺序
  • 区分误操作累积与有意的微批次累积

累积机制与实际现象

在 PyTorch 中,叶子张量的梯度保存在 .grad 属性里。每次调用 backward() 时,新梯度会加到已有值上,而不是自动覆盖。这样既能合并多个损失项,也能把大批次拆成多个微批次后统一更新。

梯度累积与参数更新流程

下面的完整示例连续执行两次反向传播。第二次的 .grad 是两次梯度之和;清零后再次计算,才只保留当前样本的梯度。

python
import torch

w = torch.tensor(2.0, requires_grad=True)
samples = [(1.0, 3.0), (2.0, 5.0)]

for index, (x, y) in enumerate(samples, start=1):
    prediction = w * x
    loss = (prediction - y) ** 2
    loss.backward()
    print(f"after sample {index}: grad={w.grad.item():.1f}")

# 原地清空旧梯度,再单独计算第二个样本
w.grad.zero_()
x, y = samples[1]
loss = (w * x - y) ** 2
loss.backward()
print(f"after zero and sample 2: grad={w.grad.item():.1f}")

预期输出:

text
after sample 1: grad=-2.0
after sample 2: grad=-6.0
after zero and sample 2: grad=-4.0

第二个样本自身产生的梯度是 −4-4,但第一次的 −2-2 仍留在 .grad 中,所以连续两次反向传播后得到 −6-6。

正确训练循环

常规训练中,每个批次更新一次参数,顺序应是清零梯度、前向传播、计算损失、反向传播、参数更新。

python
optimizer.zero_grad(set_to_none=True)
prediction = model(inputs)
loss = loss_fn(prediction, targets)
loss.backward()
optimizer.step()

这是片段示例,依赖已创建的 model、optimizer、loss_fn、inputs 和 targets。执行后,optimizer.step() 只使用本批次新生成的梯度;可在 backward() 前后打印任一参数的 .grad 进行验证。

把清零放在上一次 step() 之后也能形成闭环,但放在当前批次开头更直观,也能减少训练中途异常后误用残留梯度的风险。绝不能在 backward() 与 step() 之间清零,否则优化器看不到刚计算出的梯度。

有意累积与清零边界

显存不足时,可以把一个逻辑批次拆成 kk 个微批次。此时只在累计开始前清零,连续执行 kk 次反向传播,最后调用一次 step()。

若各微批次的平均损失分母相同,每个微批次可乘 1/k1/k。若第 ii 个微批次有 nin_i 个有效样本,逻辑批次共有 NN 个,则先用 ni/Nn_i/N 加权该微批次的平均损失。

Lbatch=∑i=1kniN L‾iL_{\mathrm{batch}}=\sum_{i=1}^k\frac{n_i}{N}\,\overline L_i

在所有微批次的反向传播之间保持参数不变,并在下一逻辑批次开始前清零。若实际损失按有效 token 或权重归一化,nin_i 和 NN 应换成相应分母。含 BatchNorm 等依赖批次统计的模型,拆批后前向本身也可能发生变化。

下面比较长度为 1 和 2 的两个微批次,验证按样本数加权与一次求大批次平均的结果一致。

python
import torch

w = torch.tensor(2.0, requires_grad=True)
inputs = torch.tensor([1.0, 2.0, 3.0])
targets = torch.tensor([3.0, 5.0, 7.0])

((w * inputs - targets) ** 2).mean().backward()
expected = w.grad.detach().clone()
w.grad = None

for start, end in ((0, 1), (1, 3)):
    mean_loss = ((w * inputs[start:end] - targets[start:end]) ** 2).mean()
    (mean_loss * ((end - start) / len(inputs))).backward()

torch.testing.assert_close(w.grad, expected)
print(f"full={expected.item():.1f}, accumulated={w.grad.item():.1f}")

输出为 full=-4.0, accumulated=-4.0。optimizer.zero_grad(set_to_none=False) 会把已有梯度清为零张量;set_to_none=True 则设为 None,能更明确地区分“尚未产生梯度”和“梯度恰好为零”。优化器通常跳过梯度为 None 的参数,零梯度仍可能因动量或权重衰减而触发更新。

只清零部分参数会让其他参数继续累积,除非你正在实现冻结参数、分组更新或其他特殊优化策略,否则不应这样做。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度累积与清零

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通