机器学习与深度学习 / 系统课时
启用梯度跟踪
启用梯度跟踪
requires_grad 决定 autograd 是否需要为一个张量参与的运算记录梯度信息。训练时通常只让模型参数跟踪梯度,而输入数据和标签保持关闭,这样既能得到参数梯度,也能避免记录无用的求导状态。
学习目标
- 使用
requires_grad=True和requires_grad_()控制张量是否参与梯度跟踪。 - 通过一个可计算例子验证参数梯度与输入梯度的区别。
- 正确处理冻结参数、非叶子张量和推理阶段的梯度开关。
在叶子张量上开启 requires_grad
创建浮点或复数张量时,可以直接传入 requires_grad=True。对已经存在的合适张量,也可以调用原地方法 tensor.requires_grad_(True)。整数张量不能启用 autograd 梯度,因为 PyTorch 的梯度机制面向浮点和复数运算。
在实际训练里,样本 x 通常不需要梯度,而权重 w 和偏置 b 需要。下面用一个两参数线性计算验证这一规则。
import torch
x = torch.tensor([2.0, -1.0])
w = torch.tensor([0.5, -0.25], requires_grad=True)
b = torch.tensor(0.1, requires_grad=True)
# 只追踪会影响可训练参数 w、b 的运算。
pred = (x * w).sum() + b
loss = (pred - 1.0) ** 2
loss.backward()
w_grad = ", ".join(f"{v:.2f}" for v in w.grad.tolist())
print(f"pred={pred.item():.2f}")
print(f"loss={loss.item():.4f}")
print(f"w.grad=[{w_grad}]")
print(f"b.grad={b.grad.item():.2f}")
print(f"x.grad is None={x.grad is None}")预期输出:
pred=1.35
loss=0.1225
w.grad=[1.40, -0.70]
b.grad=0.70
x.grad is None=True这里 x 没有开启梯度跟踪,因此 x.grad 保持 None;w 和 b 是需要优化的叶子张量,所以反向传播后分别得到梯度。这个模式与神经网络训练完全一致:数据负责提供输入,参数负责接收梯度并被优化器更新。
requires_grad 会沿运算传播
如果一个运算至少有一个输入需要梯度,并且当前处于梯度开启状态,那么由该运算得到的结果通常也会进入 autograd 图。例如上例中的 pred 和 loss 都是非叶子张量,它们的 requires_grad 会为 True,并带有 grad_fn。
不过,非叶子张量的 .grad 默认不会像模型参数那样被保留下来。调试时若确实要查看某个中间张量的梯度,可以在反向传播前调用 intermediate.retain_grad();正常训练不要对大量中间结果都保留梯度,否则会增加显存或内存占用。
冻结与推理要分开处理
冻结部分模型参数时,直接把对应参数设为 requires_grad=False 即可,例如 parameter.requires_grad_(False)。这样后续前向计算不会为这些参数累计梯度;重新训练该参数时再设回 True。如果优化器是在冻结前创建的,参数即使仍存在于参数组里,只要 .grad 为 None,常见优化器就不会更新它,但更清晰的做法是只把当前需要训练的参数交给优化器。
推理阶段则不是逐个参数修改属性,而是使用 torch.no_grad() 或 torch.inference_mode() 包裹前向计算。前者关闭梯度记录;后者进一步针对纯推理减少 autograd 相关开销,但对某些依赖 autograd 行为的代码限制更严格。
需要记住的检查规则很简单:训练参数开启 requires_grad,普通输入默认关闭,冻结参数显式关闭,推理阶段用上下文统一关闭梯度记录。 这样既能保证梯度出现在正确的位置,也能避免不必要的计算图和内存消耗。