机器学习与深度学习 / 系统课时
使用变量保存参数
使用变量保存参数
tf.Variable 用于保存训练过程中需要持续修改的状态,例如权重、偏置和计数器。与普通 Tensor 不同,Variable 可以原地赋值,并会被 GradientTape 和 Keras 训练流程识别为可训练参数。本课直接创建一个标量参数并完成一次梯度更新。
学习目标
- 使用
tf.Variable创建可训练参数并检查其值、形状和训练属性。 - 使用
assign、assign_add和assign_sub修改变量而不替换变量对象。 - 理解 Variable 在自动微分和参数更新中的作用。
Variable 与普通 Tensor 的区别
tf.constant 创建的是不可变 Tensor,计算得到新值时会产生新的 Tensor;tf.Variable 则拥有可修改的内部状态。模型参数需要跨多次前向计算保留并不断更新,因此通常使用 Variable。
| 对象 | 示例 | 能否 assign |
典型用途 |
|---|---|---|---|
| Tensor | tf.constant([1.0, 2.0]) |
否 | 输入、临时计算结果 |
| Variable | tf.Variable([1.0, 2.0]) |
是 | 权重、偏置、训练状态 |
创建变量时可以设置 name、dtype 和 trainable。例如 tf.Variable(5.0, name="weight", trainable=True) 创建一个标量浮点参数;如果是无需梯度更新的累计计数器,可以设置 trainable=False。
创建并更新一个参数
下面用目标函数 (w - 3)^2 演示 Variable 的完整用途。先把 w 赋值为 4.0,再让 GradientTape 计算梯度,最后用学习率 0.1 执行一次梯度下降更新。
import tensorflow as tf
w = tf.Variable(5.0, name="weight", trainable=True)
w.assign(4.0)
with tf.GradientTape() as tape:
loss = (w - 3.0) ** 2
grad = tape.gradient(loss, w)
w.assign_sub(0.1 * grad)
print(f"loss = {float(loss.numpy()):.1f}")
print(f"grad = {float(grad.numpy()):.1f}")
print(f"w = {float(w.numpy()):.1f}")
print("trainable =", w.trainable)预期输出:
loss = 1.0
grad = 2.0
w = 3.8
trainable = True当 w=4 时,损失是 1,梯度是 2;执行 w = w - 0.1 × 2 后得到 3.8。后续再次进入 GradientTape 时,使用的就是更新后的 Variable 状态。
选择正确的赋值接口
Variable 提供三个常用原地更新接口。它们都会修改变量内部值,并保留原来的 Variable 对象,因此引用这个参数的模型或优化器仍然能够追踪它。
| 操作 | 示例 | 原值为 5.0 时的结果 |
|---|---|---|
| 覆盖 | w.assign(2.0) |
2.0 |
| 增加 | w.assign_add(0.5) |
5.5 |
| 减少 | w.assign_sub(0.5) |
4.5 |
赋值时形状通常需要与变量兼容。一个形状为 (3,) 的 Variable 不应被直接赋成 (2,);训练参数的尺寸如果需要改变,通常意味着模型结构也应重新创建,而不是在训练过程中临时改形状。
自动微分如何识别参数
默认情况下,tf.GradientTape 会自动监视在其作用域内使用的、trainable=True 的 Variable,所以主示例不需要额外调用 tape.watch(w)。这也是模型权重使用 Variable 而不是普通 Tensor 的直接原因之一。
如果把更新写成 w = w - learning_rate * grad,右侧运算会产生一个 Tensor,并让 Python 名称 w 指向这个新对象;这与调用 w.assign_sub(...) 修改原 Variable 不是一回事。在手写训练循环中,应让优化器或 assign_sub 更新原参数对象。
训练代码中判断一个值是否应该使用 Variable,可以检查它是否需要跨多个训练步骤保留并被更新。权重和偏置通常满足这个条件;批次输入、损失值和中间激活则通常只是 Tensor。