机器学习与深度学习 / 系统课时

理解广播机制

理解广播机制

广播让不同形状的张量在满足规则时直接参与逐元素运算,无需手动复制数据。实际训练中,给一批样本加特征偏置、给每行乘不同缩放系数都会依赖广播。关键不是记住几个例子,而是能从最右侧维度开始判断两个形状是否兼容。

学习目标

  • 按 PyTorch 广播规则判断两个张量能否参与逐元素运算。
  • 解释 [2,3] 与 [3]、[2,1] 等常见形状如何扩展。
  • 使用 unsqueeze 和 torch.broadcast_shapes 主动消除形状歧义。

从最右侧比较维度

PyTorch 按尾部维度向左比较两个形状。对应维度满足以下任意条件即可兼容:两个长度相等,其中一个长度为 1,或者其中一个张量缺少这一维。缺失的前置维度可以看成长度为 1,最终输出在每个位置采用两者较大的长度。

例如 [2,3] 与 [3] 比较时,可以把 [3] 看成 [1,3]:最后一维 3 与 3 相等,前一维 2 与 1 兼容,所以结果为 [2,3]。而 [2,3] 与 [2] 的最后一维是 3 和 2,两者既不相等也没有一个为 1,因此不能广播。

PyTorch 广播时从尾部维度比较并扩展形状的规则

用偏置和缩放验证广播

下面的 bias 形状为 [3],可以同时加到 x 的两行;row_scale 形状为 [2,1],其第二维长度为 1,因此每一行的单个缩放系数会作用到这一行的三个元素。

python
import torch

x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
bias = torch.tensor([10.0, 20.0, 30.0])
row_scale = torch.tensor([[2.0], [3.0]])

y = x + bias
z = x * row_scale

print("x:", tuple(x.shape))
print("bias:", tuple(bias.shape))
print("x+bias:", y.tolist())
print("row_scale:", tuple(row_scale.shape))
print("x*row_scale:", z.tolist())
print("broadcast:", torch.broadcast_shapes(x.shape, bias.shape))

预期输出

text
x: (2, 3)
bias: (3,)
x+bias: [[11.0, 22.0, 33.0], [14.0, 25.0, 36.0]]
row_scale: (2, 1)
x*row_scale: [[2.0, 4.0, 6.0], [12.0, 15.0, 18.0]]
broadcast: torch.Size([2, 3])

bias 并没有在代码中手动复制成两行,但逐元素加法的结果等价于把 [10,20,30] 应用于每一行。类似地,row_scale 的第一行系数 2 作用于 [1,2,3],第二行系数 3 作用于 [4,5,6]。

定位不兼容的形状

遇到广播错误时,把两个形状右对齐后逐列检查即可。例如 [2,3] 与 [2] 右对齐后首先比较最后一维 3 和 2,这一处已经违反规则,不需要继续判断。若这个长度为 2 的张量实际表示“每一行一个值”,它的语义应是 [2,1],而不是 [2]。

可以用 torch.broadcast_shapes(shape_a, shape_b) 在真正计算之前检查目标形状。兼容时它返回广播后的 torch.Size;不兼容时直接抛出错误。调试模型时,先记录 tuple(tensor.shape),再检查从右向左的第一处冲突,通常比反复尝试 reshape 更快。

用 unsqueeze 明确要扩展的轴

当一维张量的含义容易混淆时,显式增加长度为 1 的维度更安全。若 row_scale 原本是形状 [2],可使用 row_scale.unsqueeze(1) 把它变为 [2,1],明确表示“每行一个缩放值”;若一个 [3] 的特征偏置需要显式写出批次轴,则可以使用 bias.unsqueeze(0) 得到 [1,3]。

在神经网络代码中,推荐在关键接口附近固定形状约定,例如激活值使用 [batch, features],特征偏置使用 [features],逐样本权重使用 [batch,1]。这样 [32,128] + [128] 和 [32,128] * [32,1] 都能仅凭形状看出广播方向,也更容易在批次大小变化时保持正确。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解广播机制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通