机器学习与深度学习 / 系统课时
停止梯度计算
停止梯度计算
训练需要 Autograd 记录运算图,验证和推理却只关心前向结果。关闭梯度记录能减少额外内存与调度开销。本课用 torch.no_grad()、torch.inference_mode() 和 detach() 区分常见做法,并说明 model.eval() 的边界。
学习目标
- 使用
torch.no_grad()在验证或推理代码中关闭梯度记录。 - 区分
model.eval()、torch.inference_mode()与detach()的职责。 - 通过
requires_grad与grad_fn检查某段计算是否仍被 Autograd 跟踪。
先确认 eval 不会关闭梯度
model.eval() 只把模块切换到评估行为,例如让 Dropout 停止随机丢弃、让 BatchNorm 使用运行统计量;它不会关闭 Autograd。下面固定线性层权重为 [1, 2],同一个输入分别在普通模式和 torch.no_grad() 中前向计算。
import torch
from torch import nn
model = nn.Linear(2, 1, bias=False)
with torch.no_grad():
model.weight.copy_(torch.tensor([[1.0, 2.0]]))
model.eval()
x = torch.tensor([[3.0, 4.0]], requires_grad=True)
y_tracked = model(x)
with torch.no_grad():
y_no_grad = model(x)
print(f"eval only: value={y_tracked.item():.1f}, requires_grad={y_tracked.requires_grad}")
print(f"no_grad: value={y_no_grad.item():.1f}, requires_grad={y_no_grad.requires_grad}")
print(f"no_grad grad_fn={y_no_grad.grad_fn}")预期输出:
eval only: value=11.0, requires_grad=True
no_grad: value=11.0, requires_grad=False
no_grad grad_fn=None这段结果可以直接作为检查标准:只调用 eval() 时结果仍有梯度跟踪;进入 torch.no_grad() 后,结果的 requires_grad 为 False,且 grad_fn 为 None。
在验证循环中使用 no_grad
验证阶段通常同时执行 model.eval() 和 torch.no_grad()。前者控制模块行为,后者控制梯度记录。一个典型验证循环可以保持批次大小不变,并只累计 loss.item(),避免把 Tensor 图意外保存在 Python 容器里。
model.eval()
total_loss = 0.0
with torch.no_grad():
for inputs, targets in val_loader:
outputs = model(inputs)
loss = criterion(outputs, targets)
total_loss += loss.item()这是片段示例,依赖已经创建的 model、val_loader 和 criterion。验证方法是在循环内部临时打印 outputs.requires_grad;正确结果应为 False。训练恢复时再调用 model.train(),不要把 no_grad() 包住后续训练前向过程。
纯推理优先考虑 inference_mode
torch.inference_mode() 比 torch.no_grad() 更严格,除关闭梯度记录外,还会省去部分与 Autograd 视图跟踪和版本计数有关的开销。对于部署推理、离线批量预测这类不会再参与反向传播的路径,可直接这样写:
model.eval()
with torch.inference_mode():
predictions = model(inputs)这是片段示例,依赖已有的 model 和 inputs。检查 predictions.requires_grad 应得到 False。如果后续代码还可能把这些张量带回需要 Autograd 的计算,优先使用限制更少的 torch.no_grad()。
只切断某个张量时使用 detach
detach() 不是全局上下文,而是返回一个与原张量共享存储、但脱离当前计算图的新 Tensor。比如记录中间特征供可视化时,可以先 features.detach(),再转到 CPU;不要为了记录日志把整个前向过程都关闭梯度。
x = torch.tensor([2.0], requires_grad=True)
y = x * 3
saved = y.detach()
print(y.requires_grad, saved.requires_grad)
print(y.data_ptr() == saved.data_ptr())预期输出:
True False
Truedetach() 后的张量与原张量共享底层数据,因此不应对 saved 做会改变数值的原地操作,再指望 y 保持不变。需要独立副本时使用 y.detach().clone()。在评估整段模型时用上下文管理器,在只切断某个分支时才用 detach()。