机器学习与深度学习 / 系统课时

停止梯度计算

停止梯度计算

训练需要 Autograd 记录运算图,验证和推理却只关心前向结果。关闭梯度记录能减少额外内存与调度开销。本课用 torch.no_grad()、torch.inference_mode() 和 detach() 区分常见做法,并说明 model.eval() 的边界。

学习目标

  • 使用 torch.no_grad() 在验证或推理代码中关闭梯度记录。
  • 区分 model.eval()、torch.inference_mode() 与 detach() 的职责。
  • 通过 requires_grad 与 grad_fn 检查某段计算是否仍被 Autograd 跟踪。

先确认 eval 不会关闭梯度

model.eval() 只把模块切换到评估行为,例如让 Dropout 停止随机丢弃、让 BatchNorm 使用运行统计量;它不会关闭 Autograd。下面固定线性层权重为 [1, 2],同一个输入分别在普通模式和 torch.no_grad() 中前向计算。

python
import torch
from torch import nn

model = nn.Linear(2, 1, bias=False)
with torch.no_grad():
    model.weight.copy_(torch.tensor([[1.0, 2.0]]))

model.eval()
x = torch.tensor([[3.0, 4.0]], requires_grad=True)

y_tracked = model(x)
with torch.no_grad():
    y_no_grad = model(x)

print(f"eval only: value={y_tracked.item():.1f}, requires_grad={y_tracked.requires_grad}")
print(f"no_grad: value={y_no_grad.item():.1f}, requires_grad={y_no_grad.requires_grad}")
print(f"no_grad grad_fn={y_no_grad.grad_fn}")

预期输出:

text
eval only: value=11.0, requires_grad=True
no_grad: value=11.0, requires_grad=False
no_grad grad_fn=None

这段结果可以直接作为检查标准:只调用 eval() 时结果仍有梯度跟踪;进入 torch.no_grad() 后,结果的 requires_grad 为 False,且 grad_fn 为 None。

在验证循环中使用 no_grad

验证阶段通常同时执行 model.eval() 和 torch.no_grad()。前者控制模块行为,后者控制梯度记录。一个典型验证循环可以保持批次大小不变,并只累计 loss.item(),避免把 Tensor 图意外保存在 Python 容器里。

python
model.eval()
total_loss = 0.0

with torch.no_grad():
    for inputs, targets in val_loader:
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        total_loss += loss.item()

这是片段示例,依赖已经创建的 model、val_loader 和 criterion。验证方法是在循环内部临时打印 outputs.requires_grad;正确结果应为 False。训练恢复时再调用 model.train(),不要把 no_grad() 包住后续训练前向过程。

纯推理优先考虑 inference_mode

torch.inference_mode() 比 torch.no_grad() 更严格,除关闭梯度记录外,还会省去部分与 Autograd 视图跟踪和版本计数有关的开销。对于部署推理、离线批量预测这类不会再参与反向传播的路径,可直接这样写:

python
model.eval()

with torch.inference_mode():
    predictions = model(inputs)

这是片段示例,依赖已有的 model 和 inputs。检查 predictions.requires_grad 应得到 False。如果后续代码还可能把这些张量带回需要 Autograd 的计算,优先使用限制更少的 torch.no_grad()。

只切断某个张量时使用 detach

detach() 不是全局上下文,而是返回一个与原张量共享存储、但脱离当前计算图的新 Tensor。比如记录中间特征供可视化时,可以先 features.detach(),再转到 CPU;不要为了记录日志把整个前向过程都关闭梯度。

python
x = torch.tensor([2.0], requires_grad=True)
y = x * 3
saved = y.detach()

print(y.requires_grad, saved.requires_grad)
print(y.data_ptr() == saved.data_ptr())

预期输出:

text
True False
True

detach() 后的张量与原张量共享底层数据,因此不应对 saved 做会改变数值的原地操作,再指望 y 保持不变。需要独立副本时使用 y.detach().clone()。在评估整段模型时用上下文管理器,在只切断某个分支时才用 detach()。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

停止梯度计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通