机器学习与深度学习 / 系统课时

理解广播机制

理解广播机制

广播让不同形状的张量在满足规则时直接进行逐元素运算,而不必手工复制数据。本课用 TensorFlow 的真实形状示例判断哪些维度可以扩展,并通过代码验证 (2, 3) 与 (3,) 相加时得到 (2, 3) 的过程。

学习目标

  • 根据尾部维度判断两个张量能否广播,并推导结果形状。
  • 使用 TensorFlow 完成不同形状张量的逐元素运算并检查结果。
  • 识别形状看似接近但实际不能广播的常见错误。

广播规则如何判定

TensorFlow 的逐元素运算采用与 NumPy 类似的广播规则:从两个形状的最右侧维度开始逐项比较。两个维度相等,或者其中一个维度为 1,这一维就兼容;较短形状左侧缺失的维度按 1 处理。

左侧形状 右侧形状 判断 结果形状
(2, 3) (3,) 3=3,缺失维按 1 (2, 3)
(4, 1, 3) (1, 5, 1) 每一维相等或有一侧为 1 (4, 5, 3)
(2, 3) (2,) 最右侧 3 与 2 冲突 不兼容
(8, 1) (1, 6) 1 可扩展为另一侧维度 (8, 6)

例如 (4, 1, 3) 与 (1, 5, 1) 比较时,最右侧得到 3,中间得到 5,最左侧得到 4,所以最终形状是 (4, 5, 3)。

广播机制从尾部维度比较并扩展张量形状

运行一个广播示例

下面的代码让一个 (2, 3) 矩阵与 (3,) 向量直接相加。向量 [10, 20, 30] 会在第一维上被逻辑扩展,对矩阵的每一行执行相同的加法。

python
import tensorflow as tf

a = tf.constant([
    [1.0, 2.0, 3.0],
    [4.0, 5.0, 6.0],
])
b = tf.constant([10.0, 20.0, 30.0])

c = a + b

print("a.shape =", a.shape)
print("b.shape =", b.shape)
print("c.shape =", c.shape)
print(c.numpy())

预期输出:

text
a.shape = (2, 3)
b.shape = (3,)
c.shape = (2, 3)
[[11. 22. 33.]
 [14. 25. 36.]]

这里并不是把 b 在 Python 中手工复制成两行后再计算。对这类逐元素算子,直接保留较小的参数形状通常更清楚,例如给一批样本的每个特征统一加偏置时,偏置可以保持 (features,)。

容易写错的维度位置

广播判断从右向左,因此 (2,) 与 (2, 3) 不能相加。很多错误来自“两个形状里都出现了 2,所以应该兼容”的直觉,但最右侧实际比较的是 2 与 3。如果两个数都不是 1,TensorFlow 会报告形状不兼容。

如果真正需求是给 (2, 3) 的两行分别加一个标量,应把两个值整理成 (2, 1),而不是 (2,)。例如行偏置 [10, 20] 可以使用 tf.reshape(row_bias, (2, 1)),得到的两行会分别加 10 和 20。

什么时候显式扩展

普通的 +、-、*、/ 等逐元素运算优先使用隐式广播即可。只有下游接口明确需要完整目标形状时,才考虑 tf.broadcast_to。例如 tf.broadcast_to(tf.constant([1, 2, 3]), (1000, 3)) 会产生形状 (1000, 3) 的结果张量,后续算子将看到完整尺寸。

排查广播问题时,最有效的检查顺序是先打印 tensor.shape,再从最右维逐项比较,最后确认扩展发生在哪个轴。只要每一对维度都满足“相等或至少一侧为 1”,就能在运行代码前推导出结果形状。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解广播机制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通