机器学习与深度学习 / 系统课时
启用梯度跟踪
启用梯度跟踪
本课聚焦梯度跟踪的开关与作用范围,通过一个最小参数更新示例说明哪些张量会进入自动微分、梯度保存在哪里,以及推理或手动更新参数时为什么应临时关闭记录。完成后,你可以避免无效建图、梯度缺失和更新过程被再次纳入计算图的问题。
学习目标
- 使用
requires_grad指定需要计算梯度的张量 - 区分
requires_grad_()、torch.no_grad()与detach()的作用 - 验证叶子张量的梯度累积和关闭跟踪后的结果
梯度跟踪的控制方式
创建张量时设置 requires_grad=True,表示后续涉及该张量的可微运算需要被记录。只要一个运算的任一输入需要梯度,其结果通常也会自动带上 requires_grad=True。
训练中,模型参数需要梯度,而输入数据和标签通常不需要。反向传播后,梯度默认写入需要梯度的叶子张量 .grad;中间结果即使参与求导,也不会默认保留 .grad。
| 方式 | 作用范围 | 典型用途 |
|---|---|---|
tensor.requires_grad_(True) |
修改现有张量的跟踪属性 | 启用输入梯度、解冻参数 |
tensor.requires_grad_(False) |
修改现有张量的跟踪属性 | 冻结参数 |
with torch.no_grad(): |
临时关闭代码块内的建图 | 推理、手动参数更新 |
tensor.detach() |
返回与原张量共享数据但脱离当前图的张量 | 截断梯度链路 |
requires_grad_() 是原地修改属性,通常应对叶子张量使用。detach() 得到的张量与原张量共享底层存储,因此对其中一个执行原地修改时要格外谨慎。
完成一次可控的参数更新
下面只让 weight 参与求导。输入 x 和目标值 target 不需要梯度,参数更新与验证计算则放在 torch.no_grad() 中,避免生成无用的新图。
import torch
weight = torch.tensor(2.0, requires_grad=True)
x = torch.tensor(3.0)
target = torch.tensor(7.0)
prediction = weight * x
loss = (prediction - target) ** 2
# backward 会把梯度累积到叶子参数 weight.grad
loss.backward()
print(f"weight.grad={weight.grad.item():.1f}")
print(f"x.grad={x.grad}")
with torch.no_grad():
# 手动更新参数时不应把更新公式记录进下一张计算图
updated_weight = weight - 0.1 * weight.grad
eval_prediction = updated_weight * x
print(f"updated_weight={updated_weight.item():.1f}")
print(f"eval_prediction={eval_prediction.item():.1f}")
print(f"eval_requires_grad={eval_prediction.requires_grad}")预期输出:
weight.grad=-6.0
x.grad=None
updated_weight=2.6
eval_prediction=7.8
eval_requires_grad=False损失为 ,对 weight 的梯度是 。x 未启用跟踪,因此 x.grad 为 None。更新阶段关闭了梯度记录,所以验证结果不再连接到原计算图。
梯度控制的关键边界
梯度会累积而不是自动覆盖。真实训练循环中,每轮反向传播前需要调用优化器的 zero_grad(),或手动把 .grad 清空,否则新梯度会叠加到旧梯度上。
torch.no_grad() 只在上下文内临时关闭记录,退出后原参数仍保持 requires_grad=True。相比之下,detach() 会从当前位置返回一个永久脱离当前图的新张量;若后续还要对它求导,需要明确重新启用梯度跟踪。
推理阶段还可使用 torch.inference_mode(),它比 no_grad() 采取更严格的推理优化。普通教学与手动参数更新优先理解 no_grad(),部署推理时再根据模型行为选择更合适的上下文。