机器学习与深度学习 / 系统课时

启用梯度跟踪

启用梯度跟踪

本课聚焦梯度跟踪的开关与作用范围,通过一个最小参数更新示例说明哪些张量会进入自动微分、梯度保存在哪里,以及推理或手动更新参数时为什么应临时关闭记录。完成后,你可以避免无效建图、梯度缺失和更新过程被再次纳入计算图的问题。

学习目标

  • 使用 requires_grad 指定需要计算梯度的张量
  • 区分 requires_grad_()、torch.no_grad() 与 detach() 的作用
  • 验证叶子张量的梯度累积和关闭跟踪后的结果

梯度跟踪的控制方式

创建张量时设置 requires_grad=True,表示后续涉及该张量的可微运算需要被记录。只要一个运算的任一输入需要梯度,其结果通常也会自动带上 requires_grad=True。

训练中,模型参数需要梯度,而输入数据和标签通常不需要。反向传播后,梯度默认写入需要梯度的叶子张量 .grad;中间结果即使参与求导,也不会默认保留 .grad。

方式 作用范围 典型用途
tensor.requires_grad_(True) 修改现有张量的跟踪属性 启用输入梯度、解冻参数
tensor.requires_grad_(False) 修改现有张量的跟踪属性 冻结参数
with torch.no_grad(): 临时关闭代码块内的建图 推理、手动参数更新
tensor.detach() 返回与原张量共享数据但脱离当前图的张量 截断梯度链路

requires_grad_() 是原地修改属性,通常应对叶子张量使用。detach() 得到的张量与原张量共享底层存储,因此对其中一个执行原地修改时要格外谨慎。

完成一次可控的参数更新

下面只让 weight 参与求导。输入 x 和目标值 target 不需要梯度,参数更新与验证计算则放在 torch.no_grad() 中,避免生成无用的新图。

python
import torch

weight = torch.tensor(2.0, requires_grad=True)
x = torch.tensor(3.0)
target = torch.tensor(7.0)

prediction = weight * x
loss = (prediction - target) ** 2

# backward 会把梯度累积到叶子参数 weight.grad
loss.backward()

print(f"weight.grad={weight.grad.item():.1f}")
print(f"x.grad={x.grad}")

with torch.no_grad():
    # 手动更新参数时不应把更新公式记录进下一张计算图
    updated_weight = weight - 0.1 * weight.grad
    eval_prediction = updated_weight * x

print(f"updated_weight={updated_weight.item():.1f}")
print(f"eval_prediction={eval_prediction.item():.1f}")
print(f"eval_requires_grad={eval_prediction.requires_grad}")

预期输出:

text
weight.grad=-6.0
x.grad=None
updated_weight=2.6
eval_prediction=7.8
eval_requires_grad=False

损失为 (2×3−7)2=1(2\times3-7)^2=1,对 weight 的梯度是 2(2×3−7)×3=−62(2\times3-7)\times3=-6。x 未启用跟踪,因此 x.grad 为 None。更新阶段关闭了梯度记录,所以验证结果不再连接到原计算图。

梯度控制的关键边界

梯度会累积而不是自动覆盖。真实训练循环中,每轮反向传播前需要调用优化器的 zero_grad(),或手动把 .grad 清空,否则新梯度会叠加到旧梯度上。

torch.no_grad() 只在上下文内临时关闭记录,退出后原参数仍保持 requires_grad=True。相比之下,detach() 会从当前位置返回一个永久脱离当前图的新张量;若后续还要对它求导,需要明确重新启用梯度跟踪。

推理阶段还可使用 torch.inference_mode(),它比 no_grad() 采取更严格的推理优化。普通教学与手动参数更新优先理解 no_grad(),部署推理时再根据模型行为选择更合适的上下文。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

启用梯度跟踪

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通