机器学习与深度学习 / 系统课时

广播机制

广播机制

不同形状的张量经常需要直接相加、相乘或归一化。本课将建立从尾部对齐维度的判断方法,并通过可运行示例验证广播后的结果形状与数值。

学习目标

  • 按从右到左的顺序判断两个形状能否广播
  • 推导广播运算的结果形状
  • 区分隐式广播、expand 和 repeat 的使用边界

从尾部对齐形状

广播不是随意复制数据,而是按维度规则把长度为 1 或缺失的轴视为可扩展。比较两个张量时,从最后一个维度开始向左检查,每一对维度必须满足以下任一条件:

  • 两个维度长度相等
  • 其中一个维度长度为 1
  • 其中一个张量在该位置没有维度

PyTorch 广播规则对齐示意图

只要某一对已对齐维度既不相等、也都不为 1,广播就会失败。例如 (2, 3) 与 (2, 4) 的最后一维是 3 和 4,因此不能直接进行元素级运算。

推导结果形状

广播成功后,每个位置取两个维度中的较大值。缺失维度可视为 1,因此 (2, 3, 1) 与 (1, 4) 右对齐后相当于比较 (2, 3, 1) 和 (1, 1, 4),结果形状为 (2, 3, 4)。

左侧形状 右侧形状 能否广播 结果形状
(3, 4) (4,) 可以 (3, 4)
(2, 3, 1) (1, 4) 可以 (2, 3, 4)
(2, 3) (2, 4) 不可以 无

判断时不要从左侧开始,也不要只比较维度数量。广播规则关注的是右对齐后的每一对维度。

完整示例与验证

下面用一个三维张量乘以二维权重。权重会沿批次维和中间维逻辑扩展,但代码不需要手动复制数据。

python
import torch

base = torch.arange(6).reshape(2, 3, 1)
weights = torch.tensor([[1, 10, 100, 1000]])

# (2, 3, 1) 与 (1, 4) 广播为 (2, 3, 4)
result = base * weights

print("base:", tuple(base.shape))
print("weights:", tuple(weights.shape))
print("result:", tuple(result.shape))
print("first batch:", result[0].tolist())

预期输出

text
base: (2, 3, 1)
weights: (1, 4)
result: (2, 3, 4)
first batch: [[0, 0, 0, 0], [1, 10, 100, 1000], [2, 20, 200, 2000]]

这个结果可以理解为:base 的最后一维从 1 扩展到 4,weights 的中间维从 1 扩展到 3,同时缺失的批次维扩展到 2。

隐式广播、expand 与 repeat

普通算术运算会自动执行隐式广播。expand 可以显式得到扩展视图,通常不分配新的元素存储;repeat 会真实复制数据,因此占用更多内存。

当后续操作只读取扩展结果时,优先使用隐式广播或 expand。只有确实需要独立副本,或目标操作不接受广播视图时,才考虑 repeat。

需要注意,expand 只能扩展原长度为 1 的维度,不能把长度为 3 的维度直接扩展为 5。由于多个位置可能共享同一底层数据,不应对扩展视图执行会产生歧义的原地写入。

失败场景与检查顺序

遇到形状不匹配错误时,先打印参与运算的 shape,再从最右侧逐维比较。对缺失维补 1,确认每一对维度是否相等或至少有一个为 1。

若语义上应该按某个轴计算,但形状无法广播,应使用 unsqueeze 在正确位置补轴,而不是盲目调用 reshape。unsqueeze 保留原有元素顺序,更能表达“新增批次维、通道维或特征维”的意图。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

广播机制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通