机器学习与深度学习 / 系统课时

动态计算图

动态计算图

本课通过一个带条件分支的可运行示例,说明 PyTorch 如何在前向计算时即时记录张量运算,并在调用 backward() 后沿当前路径计算梯度。完成后,你将能判断计算图何时创建、为何每次执行都可能不同,以及反向传播结束后图会发生什么。

学习目标

  • 理解动态计算图在前向计算过程中即时构建的机制
  • 识别叶子张量、运算节点与 grad_fn 之间的关系
  • 使用条件分支验证不同执行路径会生成不同计算图

计算图在何时生成

PyTorch 不会先定义一张固定图再填入数据。只要参与运算的张量启用了梯度跟踪,框架就会在执行加法、乘法、矩阵运算等操作时记录依赖关系。前向计算完成后,当前结果张量保存指向上一运算节点的 grad_fn,反向传播便可沿这些关系回溯。

叶子张量通常由用户直接创建,例如设置了 requires_grad=True 的参数。由运算产生的中间张量属于非叶子张量,它们通常带有 grad_fn,但默认不会把梯度长期保存在自身的 .grad 属性中。

动态计算图的前向构建与反向回溯

用条件分支观察动态图

下面的程序对正数和负数采用不同公式。每次调用 run() 都会重新执行 Python 控制流,因此实际记录的运算节点只包含本次走过的分支。

python
import torch

def run(x_value: float) -> None:
    x = torch.tensor(x_value, dtype=torch.float32, requires_grad=True)

    # Python 条件分支决定本次前向计算采用哪条运算路径
    if x.item() > 0:
        y = x * x + 2
        branch = "square"
    else:
        y = x * 3 + 2
        branch = "linear"

    y.backward()
    print(
        f"{branch}: y={y.item():.1f}, "
        f"grad={x.grad.item():.1f}, "
        f"grad_fn={type(y.grad_fn).__name__}"
    )

run(2.0)
run(-2.0)

预期输出:

text
square: y=6.0, grad=4.0, grad_fn=AddBackward0
linear: y=-4.0, grad=3.0, grad_fn=AddBackward0

第一次执行采用 y=x2+2y=x^2+2,所以在 x=2x=2 时梯度为 2x=42x=4。第二次执行采用 y=3x+2y=3x+2,梯度恒为 33。两个结果虽然都经过最终加法节点,但其上游运算关系不同,这正是动态图可以自然支持条件、循环和变长输入的原因。

反向传播与使用边界

调用 backward() 时,PyTorch 从结果张量开始应用链式法则,并把梯度累积到需要梯度的叶子张量。默认情况下,本次反向传播使用过的中间缓存会被释放,以降低内存占用。

若对同一结果再次调用 backward(),通常会出现“尝试再次反向传播”的运行时错误。只有确实需要重复使用同一张图时,才应首次调用 backward(retain_graph=True);训练循环更常见的做法是重新执行一次前向计算,生成新的计算图。

动态图是“按实际执行路径建图”,并不代表所有 Python 操作都可求导。把张量转换成普通数值、执行不可微的离散选择,或在不合适的位置进行原地修改,都可能切断或破坏梯度链路。

调试时可先检查关键张量的 requires_grad、is_leaf 和 grad_fn。结果张量没有 grad_fn,通常意味着当前计算未被自动微分系统记录,或中途使用了 detach()、no_grad() 等停止跟踪的操作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

动态计算图

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通