机器学习与深度学习 / 系统课时

使用变量保存参数

使用变量保存参数

tf.Variable 用于保存训练过程中需要持续修改的状态,例如权重、偏置和计数器。与普通 Tensor 不同,Variable 可以原地赋值,并会被 GradientTape 和 Keras 训练流程识别为可训练参数。本课直接创建一个标量参数并完成一次梯度更新。

学习目标

  • 使用 tf.Variable 创建可训练参数并检查其值、形状和训练属性。
  • 使用 assign、assign_add 和 assign_sub 修改变量而不替换变量对象。
  • 理解 Variable 在自动微分和参数更新中的作用。

Variable 与普通 Tensor 的区别

tf.constant 创建的是不可变 Tensor,计算得到新值时会产生新的 Tensor;tf.Variable 则拥有可修改的内部状态。模型参数需要跨多次前向计算保留并不断更新,因此通常使用 Variable。

对象 示例 能否 assign 典型用途
Tensor tf.constant([1.0, 2.0]) 否 输入、临时计算结果
Variable tf.Variable([1.0, 2.0]) 是 权重、偏置、训练状态

创建变量时可以设置 name、dtype 和 trainable。例如 tf.Variable(5.0, name="weight", trainable=True) 创建一个标量浮点参数;如果是无需梯度更新的累计计数器,可以设置 trainable=False。

创建并更新一个参数

下面用目标函数 (w - 3)^2 演示 Variable 的完整用途。先把 w 赋值为 4.0,再让 GradientTape 计算梯度,最后用学习率 0.1 执行一次梯度下降更新。

python
import tensorflow as tf

w = tf.Variable(5.0, name="weight", trainable=True)
w.assign(4.0)

with tf.GradientTape() as tape:
    loss = (w - 3.0) ** 2

grad = tape.gradient(loss, w)
w.assign_sub(0.1 * grad)

print(f"loss = {float(loss.numpy()):.1f}")
print(f"grad = {float(grad.numpy()):.1f}")
print(f"w = {float(w.numpy()):.1f}")
print("trainable =", w.trainable)

预期输出:

text
loss = 1.0
grad = 2.0
w = 3.8
trainable = True

当 w=4 时,损失是 1,梯度是 2;执行 w = w - 0.1 × 2 后得到 3.8。后续再次进入 GradientTape 时,使用的就是更新后的 Variable 状态。

选择正确的赋值接口

Variable 提供三个常用原地更新接口。它们都会修改变量内部值,并保留原来的 Variable 对象,因此引用这个参数的模型或优化器仍然能够追踪它。

操作 示例 原值为 5.0 时的结果
覆盖 w.assign(2.0) 2.0
增加 w.assign_add(0.5) 5.5
减少 w.assign_sub(0.5) 4.5

赋值时形状通常需要与变量兼容。一个形状为 (3,) 的 Variable 不应被直接赋成 (2,);训练参数的尺寸如果需要改变,通常意味着模型结构也应重新创建,而不是在训练过程中临时改形状。

自动微分如何识别参数

默认情况下,tf.GradientTape 会自动监视在其作用域内使用的、trainable=True 的 Variable,所以主示例不需要额外调用 tape.watch(w)。这也是模型权重使用 Variable 而不是普通 Tensor 的直接原因之一。

如果把更新写成 w = w - learning_rate * grad,右侧运算会产生一个 Tensor,并让 Python 名称 w 指向这个新对象;这与调用 w.assign_sub(...) 修改原 Variable 不是一回事。在手写训练循环中,应让优化器或 assign_sub 更新原参数对象。

训练代码中判断一个值是否应该使用 Variable,可以检查它是否需要跨多个训练步骤保留并被更新。权重和偏置通常满足这个条件;批次输入、损失值和中间激活则通常只是 Tensor。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用变量保存参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通