机器学习与深度学习 / 系统课时
关闭梯度计算
关闭梯度计算
验证和推理只需要前向结果,不需要构建反向传播所需的计算图。本课将使用 torch.no_grad() 与 torch.inference_mode() 关闭梯度记录,并把它们与 model.eval() 的职责区分开,形成可直接复用的推理模板。
学习目标
- 理解关闭梯度计算能节省哪些计算与内存
- 正确选择
no_grad()或inference_mode() - 同时使用评估模式与梯度开关完成推理
为什么推理阶段要关闭梯度
默认情况下,只要输入或参数需要梯度,PyTorch 就会记录算子关系并保存反向传播所需的中间结果。训练必须保留这些信息,但验证和线上推理通常不会调用 backward(),继续记录只会增加内存占用和调度开销。
关闭梯度记录后,前向计算仍会正常执行,只是输出不再连接到可反向传播的计算图。模型参数本身的 requires_grad 不会被永久修改,离开上下文后,梯度记录会恢复到原来的状态。
no_grad 与 inference_mode
torch.no_grad() 适合临时关闭梯度,例如验证一个批次、生成特征或执行不需要反向传播的辅助计算。它只影响上下文中的梯度记录,不改变模型的训练或评估状态。
torch.inference_mode() 面向纯推理场景,除关闭梯度外,还会减少部分张量版本跟踪开销。若推理结果后续还要重新进入需要反向传播的计算,优先使用 no_grad();若结果只用于评估、展示或部署,优先使用 inference_mode()。
推荐推理模板
下面的示例同时演示 model.eval()、no_grad() 和 inference_mode()。eval() 负责切换 Dropout、BatchNorm 等层的行为,梯度上下文负责阻止计算图建立,两者不能互相替代。
import torch
from torch import nn
torch.manual_seed(0)
model = nn.Sequential(
nn.Linear(4, 8),
nn.ReLU(),
nn.Dropout(p=0.5),
nn.Linear(8, 2),
)
inputs = torch.randn(3, 4)
model.eval()
with torch.no_grad():
no_grad_output = model(inputs)
no_grad_enabled = torch.is_grad_enabled()
with torch.inference_mode():
inference_output = model(inputs)
inference_enabled = torch.is_grad_enabled()
print(no_grad_enabled, no_grad_output.requires_grad)
print(inference_enabled, inference_output.requires_grad)
print(model.training)
print(tuple(inference_output.shape))预期输出
False False
False False
False
(3, 2)由于模型已经进入评估模式,示例中的 Dropout 不再随机丢弃元素。实际预测值会随模型参数和输入变化,但梯度状态、训练状态和输出形状应与预期一致。
常见误区
只调用 model.eval() 不会关闭自动微分。此时 Dropout 和 BatchNorm 会按评估规则工作,但参数参与的运算仍可能生成计算图。
只使用 torch.no_grad() 也不会自动进入评估模式。若模型仍处于训练模式,Dropout 仍会随机失活,BatchNorm 也会继续使用当前批次统计量,导致验证结果不稳定。
不建议通过逐个参数执行 requires_grad_(False) 来完成普通推理。该做法会修改参数状态,更适合冻结模型层;临时推理应使用梯度上下文。