机器学习与深度学习 / 系统课时
广播与逐元素运算
广播与逐元素运算
本课解决两个常见问题:形状不同的张量为什么有时可以直接相加,以及如何把逐元素运算、比较与条件选择组合成可靠的数据处理流程。完成后,你能在运行前判断广播是否成立,并快速定位维度错误。
学习目标
- 判断两个张量的形状是否满足广播规则
- 使用逐元素算术、比较运算和
torch.where完成条件选择 - 识别广播中的隐式扩展、原地运算和维度错位问题
逐元素运算在做什么
逐元素运算会让相同位置的元素参与计算。例如两个形状都为 (2, 3) 的张量相加,结果仍是 (2, 3)。加、减、乘、除、幂和比较运算都遵循这一思路。
标量与张量运算也是逐元素运算。表达式 x * 0.5 可以理解为标量 0.5 被应用到 x 的每个元素,但框架不会真的复制出一个同形状张量。
需要特别区分:a * b 表示逐元素乘法,而矩阵乘法使用 a @ b 或 torch.matmul(a, b)。两者的维度规则和数学含义不同。
广播规则:从最后一维开始比较
广播会从两个形状的最后一维向前逐项比较。对应维度满足以下任一条件时可以继续计算:维度大小相等、其中一个维度为 1,或某个张量缺少这一维。
结果形状取每个对应维度中的较大值。例如 (3, 1) 与 (1, 4) 可以广播为 (3, 4):前者沿列方向扩展,后者沿行方向扩展。广播通常只建立逻辑视图,不等于真实复制全部数据。

判断广播时,不要只比较元素总数。形状 (2, 3) 与 (6,) 虽然都包含 6 个元素,但最后一维 3 与 6 不兼容,因此不能直接逐元素运算。
主示例:运算、比较与条件选择
下面构造一个列张量和一个行张量。二者相加后得到 (3, 4),再通过比较生成布尔掩码,并用 torch.where 保留不小于 23 的元素。
import torch
column = torch.tensor([[1.0], [2.0], [3.0]])
row = torch.tensor([[10.0, 20.0, 30.0, 40.0]])
# 两个张量分别沿不同方向广播,结果形状为 (3, 4)
total = column + row
mask = total >= 23.0
# 条件为 False 的位置使用同形状的 0 替换
selected = torch.where(mask, total, torch.zeros_like(total))
print(total)
print(mask)
print(selected)预期输出:
tensor([[11., 21., 31., 41.],
[12., 22., 32., 42.],
[13., 23., 33., 43.]])
tensor([[False, False, True, True],
[False, False, True, True],
[False, True, True, True]])
tensor([[ 0., 0., 31., 41.],
[ 0., 0., 32., 42.],
[ 0., 23., 33., 43.]])total >= 23.0 返回布尔张量,而不是数值 0 和 1。torch.where(condition, x, y) 会逐位置选择 x 或 y,其中 condition、x 和 y 也需要能够互相广播。
常见边界与排查顺序
遇到形状错误时,先打印参与运算张量的 shape,再从最后一维向前比较。需要人为增加维度时,可使用 unsqueeze;需要移除大小为 1 的维度时,可使用 squeeze,但应明确指定维度,避免误删其他轴。
原地运算还受到目标张量形状限制。普通表达式 column + row 可以产生 (3, 4) 的新张量,但 column += row 不能把原来的 (3, 1) 存储原地扩成 (3, 4)。
广播虽然方便,也可能掩盖轴放错的问题。若批次轴、特征轴或通道轴顺序不明确,应先写出每一维的业务含义,再决定使用 reshape、permute 或 unsqueeze,不要依靠试错让代码“碰巧能跑”。
本课总结
- 广播从最后一维向前比较,维度相等或其中一个为
1才兼容 - 逐元素算术、比较和
torch.where都遵循广播规则 - 排查时应先核对形状与轴含义,并警惕原地运算无法改变目标形状
下一课预告
下一课将学习矩阵乘法与批处理,进一步掌握内维匹配、批量矩阵计算、归约操作和常用线性代数接口。