机器学习与深度学习 / 系统课时
执行张量数学运算
执行张量数学运算
张量计算既包括对应位置之间的逐元素运算,也包括遵循线性代数规则的矩阵乘法和按维度聚合。下面用一组可直接运行的 PyTorch 代码,把加减乘除、矩阵乘法、求和、均值和最大值串在一起,并明确每种运算对形状的要求。
学习目标
- 区分逐元素运算与矩阵乘法,能根据张量形状选择正确写法。
- 使用
sum、mean、max等 API 按指定维度完成统计。 - 根据输出形状和
dtype定位常见计算错误。
区分逐元素运算与矩阵乘法
+、-、*、/ 默认执行逐元素运算;在两个张量形状相同的情况下,第 [i,j] 个输出只由两个输入的 [i,j] 元素计算。二维矩阵乘法则使用 @ 或 torch.matmul,要求左矩阵最后一维与右矩阵倒数第二维一致。
例如形状 [2,3] @ [3,2] 可以得到 [2,2],而 [2,3] @ [4,2] 会因为内部维度 3 和 4 不一致而失败。二维矩阵通常直接写 left @ right;需要处理批量矩阵时可使用 torch.matmul,它还能处理前置批次维度。
| 运算 | 示例形状 | 输出形状 | 关键规则 |
|---|---|---|---|
| 逐元素加法 | [2,2] + [2,2] |
[2,2] |
对应元素相加 |
| 逐元素乘法 | [2,2] * [2,2] |
[2,2] |
不是矩阵乘法 |
| 矩阵乘法 | [2,3] @ [3,2] |
[2,2] |
中间维度必须相等 |
| 全量聚合 | [2,2].sum() |
[] |
得到标量张量 |
运行一组完整计算
下面的程序只使用固定张量,因此输出可以直接核对。注意 x * y 是逐元素乘法,而 left @ right 才是矩阵乘法。
import torch
x = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
y = torch.tensor([[2.0, 4.0], [6.0, 8.0]])
left = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
right = torch.tensor([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])
print("add:", (x + y).tolist())
print("mul:", (x * y).tolist())
print("div:", (x / y).tolist())
print("matmul:", (left @ right).tolist())
print("sum_dim0:", x.sum(dim=0).tolist())
print("mean_dim1:", x.mean(dim=1).tolist())
print("max:", x.max().item())预期输出
add: [[3.0, 6.0], [9.0, 12.0]]
mul: [[2.0, 8.0], [18.0, 32.0]]
div: [[0.5, 0.5], [0.5, 0.5]]
matmul: [[22.0, 28.0], [49.0, 64.0]]
sum_dim0: [4.0, 6.0]
mean_dim1: [1.5, 3.5]
max: 4.0矩阵乘法的第一个结果 22 来自第一行与第一列的点积,即 1×1 + 2×3 + 3×5 = 22。如果误写成 left * right,这两个形状 [2,3] 与 [3,2] 既不能直接逐元素对应,也不能按矩阵乘法规则处理。
按维度理解聚合结果
对于形状 [2,2] 的 x,dim=0 会消去第 0 维,也就是沿行方向聚合,因此 x.sum(dim=0) 得到两列的和 [4,6]。dim=1 会消去列这一维,所以 x.mean(dim=1) 分别计算两行的均值,得到 [1.5,3.5]。
需要保留原来的维度数量时,可以设置 keepdim=True。例如 x.sum(dim=1, keepdim=True) 的形状是 [2,1],而不是 [2]。这在后续需要与原张量进行广播运算时尤其有用,因为长度为 1 的维度仍然保留。
max 有两种常见用法:x.max() 返回整个张量中的最大值;x.max(dim=1) 返回一个结果对象,其中 .values 是每行最大值,.indices 是最大值所在的列索引。分类模型中按类别维寻找最大分数时,经常会用到后一种形式。
检查形状和数据类型
运算报错时先打印 tensor.shape 和 tensor.dtype,比直接修改表达式更有效。矩阵乘法重点核对内部维度;聚合则重点确认 dim 是否对应预期轴。二维 [batch, features] 张量中,按 dim=0 聚合通常得到每个特征的统计量,按 dim=1 聚合通常得到每个样本的统计量。
torch.mean 要求输入是浮点或复数张量。如果数据来自 torch.tensor([1, 2, 3]),默认通常是整数类型,直接求均值会报数据类型错误;可以先调用 x.float(),或创建时显式指定 dtype=torch.float32。对于求和和最大值,整数输入则可以直接计算。