机器学习与深度学习 / 系统课时

关闭梯度计算

关闭梯度计算

验证和推理只需要前向结果,不需要构建反向传播所需的计算图。本课将使用 torch.no_grad() 与 torch.inference_mode() 关闭梯度记录,并把它们与 model.eval() 的职责区分开,形成可直接复用的推理模板。

学习目标

  • 理解关闭梯度计算能节省哪些计算与内存
  • 正确选择 no_grad() 或 inference_mode()
  • 同时使用评估模式与梯度开关完成推理

为什么推理阶段要关闭梯度

默认情况下,只要输入或参数需要梯度,PyTorch 就会记录算子关系并保存反向传播所需的中间结果。训练必须保留这些信息,但验证和线上推理通常不会调用 backward(),继续记录只会增加内存占用和调度开销。

关闭梯度记录后,前向计算仍会正常执行,只是输出不再连接到可反向传播的计算图。模型参数本身的 requires_grad 不会被永久修改,离开上下文后,梯度记录会恢复到原来的状态。

no_grad 与 inference_mode

torch.no_grad() 适合临时关闭梯度,例如验证一个批次、生成特征或执行不需要反向传播的辅助计算。它只影响上下文中的梯度记录,不改变模型的训练或评估状态。

torch.inference_mode() 面向纯推理场景,除关闭梯度外,还会减少部分张量版本跟踪开销。若推理结果后续还要重新进入需要反向传播的计算,优先使用 no_grad();若结果只用于评估、展示或部署,优先使用 inference_mode()。

推荐推理模板

下面的示例同时演示 model.eval()、no_grad() 和 inference_mode()。eval() 负责切换 Dropout、BatchNorm 等层的行为,梯度上下文负责阻止计算图建立,两者不能互相替代。

python
import torch
from torch import nn

torch.manual_seed(0)

model = nn.Sequential(
    nn.Linear(4, 8),
    nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(8, 2),
)
inputs = torch.randn(3, 4)

model.eval()

with torch.no_grad():
    no_grad_output = model(inputs)
    no_grad_enabled = torch.is_grad_enabled()

with torch.inference_mode():
    inference_output = model(inputs)
    inference_enabled = torch.is_grad_enabled()

print(no_grad_enabled, no_grad_output.requires_grad)
print(inference_enabled, inference_output.requires_grad)
print(model.training)
print(tuple(inference_output.shape))

预期输出

text
False False
False False
False
(3, 2)

由于模型已经进入评估模式,示例中的 Dropout 不再随机丢弃元素。实际预测值会随模型参数和输入变化,但梯度状态、训练状态和输出形状应与预期一致。

常见误区

只调用 model.eval() 不会关闭自动微分。此时 Dropout 和 BatchNorm 会按评估规则工作,但参数参与的运算仍可能生成计算图。

只使用 torch.no_grad() 也不会自动进入评估模式。若模型仍处于训练模式,Dropout 仍会随机失活,BatchNorm 也会继续使用当前批次统计量,导致验证结果不稳定。

不建议通过逐个参数执行 requires_grad_(False) 来完成普通推理。该做法会修改参数状态,更适合冻结模型层;临时推理应使用梯度上下文。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

关闭梯度计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通