机器学习与深度学习 / 系统课时
矩阵运算与批处理
矩阵运算与批处理
本课将把张量从逐元素计算推进到线性代数计算。你会掌握矩阵乘法的维度约束、批次维的处理方式,以及如何通过归约操作得到每个样本或整个批次的统计结果。
学习目标
- 正确判断矩阵乘法的输入与输出形状
- 使用
torch.matmul和torch.bmm完成批量矩阵计算 - 根据任务选择归约维度及常用
torch.linalg接口
矩阵乘法关注内维匹配
二维矩阵相乘遵循 (m, n) @ (n, p) -> (m, p)。左矩阵的列数必须等于右矩阵的行数,计算结果保留左矩阵的行数和右矩阵的列数。
矩阵乘法与逐元素乘法不同。a * b 要求形状相同或能够广播,结果按位置相乘;a @ b 会对公共内维执行乘加归约,用于线性层、注意力分数和坐标变换等计算。
当输入包含批次维时,可把形状写成 (..., m, n) @ (..., n, p)。最后两维负责矩阵乘法,前面的批次维按照广播规则对齐。

主示例:批量线性变换与归约
下面的 x 包含 2 个样本,每个样本有 3 个位置,每个位置有 4 个特征。权重矩阵把 4 个输入特征映射为 2 个输出特征。
import torch
x = torch.arange(24, dtype=torch.float32).reshape(2, 3, 4)
weight = torch.ones(4, 2)
# matmul 自动把同一个二维权重应用到每个批次
y = torch.matmul(x, weight)
# bmm 专门处理两个三维张量,这里计算每个批次内部的位置相关矩阵
scores = torch.bmm(x, x.transpose(1, 2))
# 沿位置维求平均,保留批次维和输出特征维
batch_mean = y.mean(dim=1)
print(y.shape)
print(y[0, 0])
print(scores.shape)
print(batch_mean)预期输出:
torch.Size([2, 3, 2])
tensor([6., 6.])
torch.Size([2, 3, 3])
tensor([[22., 22.],
[70., 70.]])torch.matmul 支持向量、矩阵和带批次维的高维张量,并允许前置批次维广播。torch.bmm 只接受两个三维张量,形状应为 (b, m, n) 与 (b, n, p),且不会自动广播批次数量。
归约操作如何改变形状
归约操作会沿指定维度合并元素。常用接口包括 sum、mean、max、min 和 argmax。示例中的 y.mean(dim=1) 消除了位置维,因此形状从 (2, 3, 2) 变为 (2, 2)。
当后续计算仍需要该轴时,可以设置 keepdim=True。例如对形状 (batch, length, feature) 的张量沿 length 求均值并保留维度,结果为 (batch, 1, feature),更容易与原张量再次广播。
选择 dim 前应明确每个轴的含义。对错误的维度求和通常不会报错,却会改变统计语义,因此比单纯的形状异常更难发现。
常用接口与选择原则
| 需求 | 推荐接口 | 关键限制 |
|---|---|---|
| 通用矩阵乘法 | torch.matmul 或 @ |
支持批次维广播 |
| 两个三维批量矩阵相乘 | torch.bmm |
批次数必须相同 |
| 解线性方程组 | torch.linalg.solve |
通常优于显式求逆 |
| 计算范数 | torch.linalg.vector_norm、torch.linalg.matrix_norm |
需区分向量维和矩阵维 |
| 奇异值分解 | torch.linalg.svd |
计算量较大,注意批次形状 |
数值计算中通常不要先调用 torch.linalg.inv 再相乘。若目标是求解 ,直接使用 torch.linalg.solve(A, B) 往往更稳定,也更符合实际计算目的。
常见错误与验证方法
出现“矩阵形状无法相乘”时,应先检查左张量最后一维是否等于右张量倒数第二维。不要只看张量总元素数,也不要通过随意 reshape 强行消除错误。
批量计算还要检查批次轴的位置。若数据实际形状是 (length, batch, feature),却按 (batch, length, feature) 使用,代码可能运行但样本会被错误混合。必要时使用 permute 明确换轴,并在关键步骤断言 shape。
最后核对 dtype 和设备。参与矩阵运算的张量通常需要位于同一设备,并使用兼容的数据类型;模型参数为浮点类型时,整型输入应先完成适当转换。
本课总结
- 矩阵乘法要求公共内维一致,输出保留外侧两维
torch.matmul适合通用和可广播批处理,torch.bmm适合严格三维批量矩阵- 归约操作必须根据轴的业务含义选择
dim,必要时用keepdim=True保留维度
下一课预告
下一课将进入自动微分,学习计算图、梯度累积以及如何通过反向传播获得参数梯度。