机器学习与深度学习 / 系统课时

执行反向传播

执行反向传播

训练模型时,前向计算只得到预测值和损失;真正让参数获得更新依据的是反向传播。本课用一个可运行的线性算例调用 backward(),检查损失如何沿计算图反向传递,并说明为什么同一张计算图通常只能反向一次。

学习目标

  • 使用 loss.backward() 计算叶子参数的梯度
  • 根据简单算例手算并核对 w.grad 与 b.grad
  • 理解计算图释放、retain_graph 与梯度累积的边界

从损失反推参数梯度

设输入 x=[2,-1],参数 w=[0.5,-0.25]、b=0.1,预测为 x @ w + b=1.35。目标值取 1.5,平方损失为 0.0225。对预测值求导得到 -0.3,再乘各输入分量,因此 w 的梯度应为 [-0.6,0.3],b 的梯度应为 -0.3。

损失沿计算图反向传播到参数梯度

下面的代码直接复现这组数字。requires_grad=True 让 w 和 b 参与自动求导;loss.backward() 会从标量损失开始执行反向模式自动微分,并把结果写入叶子张量的 .grad。

python
import torch

x = torch.tensor([2.0, -1.0])
w = torch.tensor([0.5, -0.25], requires_grad=True)
b = torch.tensor(0.1, requires_grad=True)
target = torch.tensor(1.5)

prediction = x @ w + b
loss = (prediction - target) ** 2
loss.backward()

print(f"prediction={prediction.item():.2f}")
print(f"loss={loss.item():.4f}")
print("w.grad=", [round(v, 2) for v in w.grad.tolist()])
print(f"b.grad={b.grad.item():.2f}")

预期输出

text
prediction=1.35
loss=0.0225
w.grad= [-0.6, 0.3]
b.grad=-0.30

backward() 实际做了什么

PyTorch 在前向计算时动态记录运算关系。调用 backward() 后,它从 loss 出发按链式法则反向遍历图,将各路径贡献相加,并最终写入叶子参数的 .grad。这个例子中,x 没有开启 requires_grad,所以不会保存 x.grad。

如果最终张量不是标量,不能直接省略上游梯度。例如 y = w * x 得到两个元素时,要么先用 y.sum().backward() 化成标量,要么显式传入与 y 同形状的梯度参数。模型训练中的损失函数通常已经返回标量,因此最常见写法仍是 loss.backward()。

为什么同一张图不能随意反向两次

默认情况下,backward() 完成后会释放为反向计算保存的中间结果,以减少显存或内存占用。因此,对同一个 loss 连续调用两次 backward() 通常会触发包含 Trying to backward through the graph a second time 的运行时错误。

确实需要重复使用同一张图时,可以第一次调用 loss.backward(retain_graph=True)。但普通训练循环不应依赖它:更常见也更省内存的做法,是下一轮重新执行前向计算,得到新的 loss 和新的计算图。

放进训练循环时的位置

一次典型训练迭代按四步执行:optimizer.zero_grad(set_to_none=True) 清理旧梯度;prediction = model(inputs) 与损失函数完成前向计算;loss.backward() 计算当前批次梯度;最后 optimizer.step() 更新参数。

检查顺序时只要抓住两个位置:backward() 必须在损失计算之后,step() 必须在 backward() 之后。若先 step() 再反向,优化器没有本轮梯度可用;若下一轮不先清理 .grad,新梯度会继续叠加到旧梯度上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行反向传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通