高等数学 / 系统课时

停止梯度

停止梯度

停止梯度用于保留前向计算结果,同时阻止某条路径参与反向传播。本课会用一个最小计算图说明它切断了什么、没有改变什么,以及何时应主动使用这一机制。

学习目标

  • 解释停止梯度对前向值和反向梯度的不同影响
  • 使用 PyTorch 的 detach() 切断指定计算路径
  • 判断目标网络、交替优化等场景是否需要停止梯度

停止梯度的本质

设计算过程为 x→y→zx \rightarrow y \rightarrow z。正常反向传播会沿所有可导路径应用链式法则;停止梯度则把某个中间量视为常数,使梯度不能再穿过该节点,但节点保存的数值仍可继续参与后续计算。

因此,停止梯度不是把张量变成零,也不是删除前向分支。它只改变求导关系:前向阶段仍计算该值,反向阶段则不再追踪它之前的依赖。

停止梯度前后的计算图对比

用代码验证切断效果

下面令 y=x2y=x^2、z=stop⁡(y)⋅xz=\operatorname{stop}(y)\cdot x。当 x=3x=3 时,前向结果仍是 z=27z=27。自动微分沿剩下的路径计算,把 y=9y=9 作为常数,所以返回的梯度是 dzdx=9\frac{\mathrm{d}z}{\mathrm{d}x}=9。

python
import torch

x = torch.tensor(3.0, requires_grad=True)
y = x ** 2

# detach 保留 y 的数值,但切断 y 到 x 的梯度路径
z = y.detach() * x
z.backward()

print(f"y={y.item():.1f}")
print(f"z={z.item():.1f}")
print(f"x.grad={x.grad.item():.1f}")

预期输出

text
y=9.0
z=27.0
x.grad=9.0

若取消停止梯度,完整表达式 z=x3z=x^3 在该点的导数是 2727。这个差异说明停止梯度控制的是链式法则经过哪些路径,而不是控制前向表达式是否执行。

使用场景与关键边界

停止梯度常用于教师模型或目标网络:目标值参与损失计算,但不应被当前损失更新。交替优化时,也可以冻结另一组变量对应的路径,避免一次反向传播同时修改多个模块。

它还可阻止辅助统计量、采样结果或伪标签反向影响生成它们的模块。不过,不应把停止梯度当作修复梯度爆炸的通用手段;路径切错后,模型虽然能运行,却可能失去本应学习的信号。

detach() 会返回与原张量共享底层存储的新张量,切断经该返回值的自动微分路径。任何一方的原地写入都可能影响另一方。需要可独立修改的快照时,用 detach 后再 clone。若需要长期冻结模型参数,应同时管理参数的 requires_grad 状态和优化器参数列表。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

停止梯度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通