机器学习与深度学习 / 系统课时
理解广播机制
理解广播机制
广播让不同形状的张量在满足规则时直接进行逐元素运算,而不必手工复制数据。本课用 TensorFlow 的真实形状示例判断哪些维度可以扩展,并通过代码验证 (2, 3) 与 (3,) 相加时得到 (2, 3) 的过程。
学习目标
- 根据尾部维度判断两个张量能否广播,并推导结果形状。
- 使用 TensorFlow 完成不同形状张量的逐元素运算并检查结果。
- 识别形状看似接近但实际不能广播的常见错误。
广播规则如何判定
TensorFlow 的逐元素运算采用与 NumPy 类似的广播规则:从两个形状的最右侧维度开始逐项比较。两个维度相等,或者其中一个维度为 1,这一维就兼容;较短形状左侧缺失的维度按 1 处理。
| 左侧形状 | 右侧形状 | 判断 | 结果形状 |
|---|---|---|---|
(2, 3) |
(3,) |
3=3,缺失维按 1 |
(2, 3) |
(4, 1, 3) |
(1, 5, 1) |
每一维相等或有一侧为 1 |
(4, 5, 3) |
(2, 3) |
(2,) |
最右侧 3 与 2 冲突 |
不兼容 |
(8, 1) |
(1, 6) |
1 可扩展为另一侧维度 |
(8, 6) |
例如 (4, 1, 3) 与 (1, 5, 1) 比较时,最右侧得到 3,中间得到 5,最左侧得到 4,所以最终形状是 (4, 5, 3)。

运行一个广播示例
下面的代码让一个 (2, 3) 矩阵与 (3,) 向量直接相加。向量 [10, 20, 30] 会在第一维上被逻辑扩展,对矩阵的每一行执行相同的加法。
import tensorflow as tf
a = tf.constant([
[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0],
])
b = tf.constant([10.0, 20.0, 30.0])
c = a + b
print("a.shape =", a.shape)
print("b.shape =", b.shape)
print("c.shape =", c.shape)
print(c.numpy())预期输出:
a.shape = (2, 3)
b.shape = (3,)
c.shape = (2, 3)
[[11. 22. 33.]
[14. 25. 36.]]这里并不是把 b 在 Python 中手工复制成两行后再计算。对这类逐元素算子,直接保留较小的参数形状通常更清楚,例如给一批样本的每个特征统一加偏置时,偏置可以保持 (features,)。
容易写错的维度位置
广播判断从右向左,因此 (2,) 与 (2, 3) 不能相加。很多错误来自“两个形状里都出现了 2,所以应该兼容”的直觉,但最右侧实际比较的是 2 与 3。如果两个数都不是 1,TensorFlow 会报告形状不兼容。
如果真正需求是给 (2, 3) 的两行分别加一个标量,应把两个值整理成 (2, 1),而不是 (2,)。例如行偏置 [10, 20] 可以使用 tf.reshape(row_bias, (2, 1)),得到的两行会分别加 10 和 20。
什么时候显式扩展
普通的 +、-、*、/ 等逐元素运算优先使用隐式广播即可。只有下游接口明确需要完整目标形状时,才考虑 tf.broadcast_to。例如 tf.broadcast_to(tf.constant([1, 2, 3]), (1000, 3)) 会产生形状 (1000, 3) 的结果张量,后续算子将看到完整尺寸。
排查广播问题时,最有效的检查顺序是先打印 tensor.shape,再从最右维逐项比较,最后确认扩展发生在哪个轴。只要每一对维度都满足“相等或至少一侧为 1”,就能在运行代码前推导出结果形状。