机器学习与深度学习 / 系统课时
使用函数图加速计算
使用函数图加速计算
TensorFlow 默认即时执行便于调试,而 tf.function 可以把重复的 TensorFlow 运算追踪为可复用的计算图。本篇重点解决三个问题:怎样包装热点函数、怎样限制重复追踪,以及哪些 Python 写法进入图模式后会改变行为。
学习目标
- 说明即时执行与
tf.function计算图在执行方式上的差别。 - 使用
@tf.function和input_signature定义可复用的张量计算。 - 避免 Python 参数、动态形状和副作用导致的重复追踪或行为偏差。
即时执行与函数图的差别
即时执行时,每个 TensorFlow 操作在 Python 调用到它时立即运行,适合逐步查看值和定位错误。tf.function 第一次遇到一组输入规格时会追踪函数中的 TensorFlow 运算并建立 ConcreteFunction;后续兼容输入可以复用已有图,减少 Python 调度开销,但首次调用本身包含追踪成本。

图模式并不保证所有函数都更快。只有当函数包含较多 TensorFlow 运算并被反复调用时,减少 Python 往返才更有价值;只包一两个很小的操作,追踪成本可能抵消收益。因此应优先包装训练步骤、批量预处理或重复推理这类热点路径。
用 tf.function 包装热点计算
下面把“按行归一化”包装成函数图,并用 input_signature 固定每行 4 个特征,同时允许 batch 维变化。None 表示这一维可以是不同长度,只要输入仍是二维 float32 且第二维为 4,就能匹配同一签名。
import tensorflow as tf
@tf.function(
input_signature=[
tf.TensorSpec(shape=[None, 4], dtype=tf.float32)
]
)
def normalize_rows(x):
# keepdims=True 保留列维度,便于按行广播相除。
row_sum = tf.reduce_sum(x, axis=1, keepdims=True)
return x / row_sum
x = tf.constant(
[[1.0, 1.0, 2.0, 0.0],
[2.0, 2.0, 2.0, 2.0]],
dtype=tf.float32,
)
y = normalize_rows(x)
print(y.numpy())预期输出
[[0.25 0.25 0.5 0. ]
[0.25 0.25 0.25 0.25]]验证时重点看两点:每一行求和应接近 1,输出形状仍为 (2, 4)。如果后续传入形状 (8, 4) 的 float32 张量,仍符合签名;传入 (8, 5) 或 float64 则不符合这个函数的输入约束。
避免反复追踪
tf.function 会根据输入类型、形状以及纯 Python 参数建立专用图。把频繁变化的数值作为 Python int、float 或列表传入,可能让函数为不同值重新追踪;训练步数、阈值等运行时数值如果会频繁变化,优先使用 tf.Tensor 传递。
| 输入方式 | 典型行为 | 实用做法 |
|---|---|---|
同 dtype、符合 TensorSpec 的 Tensor |
可复用已有图 | 动态 batch 用 [None, 特征数] |
| dtype 或受约束形状变化 | 需要其他具体函数或直接报签名不匹配 | 统一预处理后的 dtype 与维度 |
| 频繁变化的 Python 数值参数 | 容易产生重复追踪 | 数值运行参数改成 Tensor |
| 少量固定 Python 超参数 | 可作为追踪期常量 | 仅用于确实只有少数取值的配置 |
如果函数面对多种合理形状又不想写固定签名,可考虑 reduce_retracing=True,但它是减少重复追踪的辅助选项,不替代清晰的输入约束。能明确输入形状和 dtype 时,input_signature 更容易检查和维护。
写出图模式安全的函数
图模式中,普通 Python 副作用与 TensorFlow 运算的执行时机不同。print()、向 Python 列表 append() 等行为通常发生在追踪阶段,而不是每次图执行都重新发生;需要运行时打印张量值时使用 tf.print(),需要在循环中累积张量时使用 tf.TensorArray 等 TensorFlow 结构。
变量也应尽量在 tf.function 外创建。函数内部只允许在首次调用路径上创建新的 tf.Variable,把层、模型或状态变量预先放在模块或对象初始化阶段更稳妥。调试时若怀疑图模式隐藏了问题,可以先移除装饰器验证即时执行结果,再恢复 @tf.function 对比。
判断是否值得加装饰器
优先选择“调用次数多、单次包含一串 TensorFlow 运算”的函数,例如每个 batch 都执行的训练步骤或推理步骤。一次性初始化、文件读取、以 Python 对象操作为主的逻辑通常不适合强行包进 tf.function,因为它们很难从图执行中获益。
检查优化是否有效时,不要只看第一次调用;第一次包含追踪。应先预热一次,再比较多次重复调用的总耗时,同时确认输出数值与即时执行一致。若性能没有改善,先查是否频繁 retracing,再考虑 jit_compile=True 等更激进选项;后者依赖算子与硬件兼容性,不应作为默认开关。