机器学习与深度学习 / 系统课时

使用自动微分

使用自动微分

tf.GradientTape 用来记录前向计算并在需要时反向求导。本篇用一个可运行的一阶梯度示例说明 Tape 何时记录、哪些对象会被监视,以及遇到 None 梯度时应按什么顺序定位。

学习目标

  • 使用 tf.GradientTape 计算标量函数对变量的一阶梯度。
  • 区分 tf.Variable 的自动监视与普通 tf.Tensor 的手动监视。
  • 判断断开梯度、重复求导和持久 Tape 的适用边界。

从一次前向计算得到梯度

设 y=x2+2x+1y=x^2+2x+1,在 x=3x=3 时函数值为 16,导数 2x+22x+2 为 8。GradientTape 必须包住产生 y 的前向运算,随后再调用 tape.gradient(y, x);把前向计算放到 Tape 之外,就没有可供反向追踪的记录。

python
import tensorflow as tf

x = tf.Variable(3.0)

with tf.GradientTape() as tape:
    # Tape 记录从 x 到 y 的 TensorFlow 运算。
    y = x ** 2 + 2.0 * x + 1.0

dy_dx = tape.gradient(y, x)

print(f'y={y.numpy():.1f}')
print(f'dy/dx={dy_dx.numpy():.1f}')

预期输出

text
y=16.0
dy/dx=8.0

这个结果可以直接用解析导数核对:2×3+2=82\times3+2=8。若数值不一致,先检查目标 y 是否确实在 Tape 作用域内由 x 计算得到,再检查中间过程是否混入 NumPy 等脱离 TensorFlow 计算图的操作。

GradientTape 如何记录计算

Tape 只需要记录求导链路上的 TensorFlow 运算。默认情况下,作用域内被读取的可训练 tf.Variable 会自动受到监视;普通 tf.Tensor 不会自动成为求导源,需要先执行 tape.watch(tensor)。调用 gradient 时,TensorFlow 按已记录的依赖关系从目标反向传播到源。

GradientTape 前向记录与反向求导的数据流

判断一个源是否需要手动监视,可以直接按对象类型处理:训练参数通常用 tf.Variable,保持默认自动监视;输入张量若要计算输入梯度、敏感度或对抗扰动,则在 Tape 内先调用 tape.watch(x)。这种区分能避免把所有中间张量都加入监视范围。

处理 None 梯度与重复求导

tape.gradient 返回 None,通常表示目标与源之间没有可微分的已记录路径。排查时依次确认:源是否被监视、目标是否在 Tape 内计算、链路中是否经过不可微分或脱离 TensorFlow 的操作。只有实数或复数类型张量可参与梯度计算,整数张量不适合作为连续可微变量。

默认 Tape 在第一次 gradient() 后释放内部资源,因此同一个非持久 Tape 不应连续求多个梯度。确实需要对同一次前向结果多次求导时,可使用 tf.GradientTape(persistent=True),完成后尽快释放引用;普通训练步骤通常一次求出所有参数梯度,不需要持久 Tape。

放进训练步骤时的检查顺序

自定义训练循环中,最小可靠模式是:在 Tape 内完成模型前向和损失计算,在作用域外一次性调用 tape.gradient(loss, model.trainable_variables),再把梯度交给优化器。应用前应检查梯度列表长度与参数列表一致,并特别留意其中是否出现 None。

当某个参数长期得到 None 时,不要先调学习率。先确认该参数是否真的参与了损失计算;若某层输出没有走到最终 loss,优化器无法通过学习率修复一条不存在的梯度路径。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用自动微分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通