机器学习与深度学习 / 系统课时

自动微分与计算图

自动微分与计算图

本课通过一个可运行的最小训练过程,演示 PyTorch 如何记录前向运算、按链式法则反向计算梯度,以及为什么每轮更新后都必须主动清零梯度。

学习目标

  • 理解 requires_grad 与动态计算图的关系
  • 使用 backward() 计算叶子张量的梯度
  • 正确完成参数更新与梯度清零

计算图如何记录运算

当叶子张量设置 requires_grad=True 后,PyTorch 会记录由它参与的张量运算。每个中间结果保存产生自己的运算关系,最终形成一张从参数到损失值的有向计算图。

调用 loss.backward() 时,自动微分引擎从损失节点反向遍历计算图,按链式法则把局部导数组合起来,并把结果累加到叶子张量的 .grad 属性中。动态图会在每次前向执行时重新构建,因此普通 Python 条件和循环也能参与模型计算。

自动微分动态计算图

完整示例:前向、反向与清零

下面用一个标量线性模型拟合目标值。程序执行两轮:第一轮计算梯度并更新参数,第二轮验证损失已经降为零。

python
import torch

def main() -> None:
    x = torch.tensor(2.0)
    target = torch.tensor(10.0)

    # 只有需要训练的叶子张量开启梯度跟踪
    w = torch.tensor(3.0, requires_grad=True)
    b = torch.tensor(1.0, requires_grad=True)
    learning_rate = 0.1

    for step in range(2):
        prediction = w * x + b
        loss = (prediction - target).pow(2)

        # 从标量损失反向计算 w 和 b 的梯度
        loss.backward()

        print(
            f"step={step}, loss={loss.item():.1f}, "
            f"w_grad={w.grad.item():.1f}, b_grad={b.grad.item():.1f}"
        )

        # 参数更新不应进入下一轮计算图
        with torch.no_grad():
            w -= learning_rate * w.grad
            b -= learning_rate * b.grad

        w.grad.zero_()
        b.grad.zero_()

    print(f"w={w.item():.1f}, b={b.item():.1f}")

if __name__ == "__main__":
    main()

预期输出

text
step=0, loss=9.0, w_grad=-12.0, b_grad=-6.0
step=1, loss=0.0, w_grad=0.0, b_grad=0.0
w=4.2, b=1.6

第一轮中,预测值为 7,损失为 9。反向传播得到 w.grad=-12、b.grad=-6,更新后模型恰好输出 10,因此第二轮损失与梯度都变为 0。

为什么更新参数要关闭梯度

参数更新本身不是模型前向计算的一部分。若直接在梯度跟踪状态下原地修改需要求导的叶子张量,PyTorch 会阻止这类操作或把无关步骤记录进计算关系。

with torch.no_grad(): 会在代码块内临时关闭梯度记录,适合手动更新参数。实际训练通常由优化器完成同样的工作,例如先调用 optimizer.step(),再调用 optimizer.zero_grad()。

梯度为什么必须清零

PyTorch 默认对 .grad 进行累加,而不是覆盖。连续两次调用 backward(),如果中间没有清零,第二次得到的是“旧梯度加新梯度”。这种设计便于实现梯度累积,但普通逐批训练必须显式清零。

对同一张已释放的计算图重复调用 backward() 通常会报错。常规做法是重新执行一次前向计算,生成新的动态图;只有确实需要重复反向时才考虑 retain_graph=True,否则会增加内存占用。

观察计算图时的关键边界

.grad 默认只保存在叶子张量上,中间结果即使参与求导,也不会自动保存梯度。调试中若确实需要查看中间张量梯度,可以在反向前调用 retain_grad()。

推理阶段不需要构建计算图,应使用 torch.no_grad() 或 torch.inference_mode() 包裹前向过程,从而减少内存占用和额外记录开销。

本课总结

  • requires_grad=True 让 PyTorch 在前向过程中动态记录运算关系
  • backward() 按链式法则计算梯度,并把结果累加到叶子张量的 .grad
  • 参数更新时关闭梯度记录,每轮训练后显式清零梯度

下一课预告

下一课将把张量、设备与自动微分组合起来,构建一个包含参数、损失函数和优化步骤的最小训练循环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

自动微分与计算图

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通