机器学习与深度学习 / 系统课时

执行反向传播

执行反向传播

本课通过一个可运行的标量计算示例,演示如何调用 backward() 启动反向传播,并从叶子张量的 .grad 属性读取梯度。完成后,你将能够核对梯度值,并识别非标量输出、重复反向传播等常见边界。

学习目标

  • 理解 loss.backward() 如何沿计算图反向应用链式法则
  • 正确读取启用梯度跟踪的叶子张量的 .grad
  • 处理非标量输出和重复反向传播的限制

反向传播如何计算梯度

当参与运算的张量设置了 requires_grad=True,PyTorch 会记录后续运算并构建动态计算图。对标量损失调用 backward() 后,自动微分引擎从损失处以初始梯度 1 开始,沿图反向计算每个叶子张量对损失的偏导数。

设 y=wx+by=wx+b,损失为 L=(y−10)2L=(y-10)^2。当 x=3x=3、w=2w=2、b=1b=1 时,前向结果为 y=7y=7、L=9L=9。反向传播会依次计算损失对 yy 的梯度,再乘以前序运算的局部梯度,最终得到 x、w、b 的梯度。

反向传播计算图

运行并读取梯度

下面的程序创建三个叶子张量,完成前向计算后只调用一次 backward()。.grad 中保存的是损失对对应张量的梯度。

python
import torch

def main() -> None:
    x = torch.tensor(3.0, requires_grad=True)
    w = torch.tensor(2.0, requires_grad=True)
    b = torch.tensor(1.0, requires_grad=True)

    # 前向计算会被自动记录为动态计算图
    y = w * x + b
    loss = (y - 10) ** 2

    # 标量损失可直接反向传播
    loss.backward()

    print(f"loss: {loss.item():.1f}")
    print(f"x.grad: {x.grad.item():.1f}")
    print(f"w.grad: {w.grad.item():.1f}")
    print(f"b.grad: {b.grad.item():.1f}")

if __name__ == "__main__":
    main()

预期输出:

text
loss: 9.0
x.grad: -12.0
w.grad: -18.0
b.grad: -6.0

w.grad=-18 的原因是损失对 yy 的梯度为 2(7−10)=−62(7-10)=-6,而 yy 对 ww 的梯度为 x=3x=3,二者相乘得到 −18-18。其他梯度也遵循相同的链式法则。

关键边界

只有叶子张量默认把结果写入 .grad。像 y、loss 这样的中间张量通常不会保留梯度;调试确有需要时,可在反向传播前调用 retain_grad()。

backward() 默认会释放本次反向计算所需的中间缓存,因此不能在同一计算图上直接再次调用。确需重复反向时可使用 retain_graph=True,但训练循环通常应重新执行一次前向计算,而不是长期保留旧图。

当输出不是标量时,PyTorch 无法自动假定起始梯度。此时应向 backward() 传入与输出形状兼容的梯度张量,本质上是在计算向量与雅可比矩阵的乘积。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行反向传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通