机器学习与深度学习 / 系统课时

矩阵运算与批处理

矩阵运算与批处理

本课将把张量从逐元素计算推进到线性代数计算。你会掌握矩阵乘法的维度约束、批次维的处理方式,以及如何通过归约操作得到每个样本或整个批次的统计结果。

学习目标

  • 正确判断矩阵乘法的输入与输出形状
  • 使用 torch.matmul 和 torch.bmm 完成批量矩阵计算
  • 根据任务选择归约维度及常用 torch.linalg 接口

矩阵乘法关注内维匹配

二维矩阵相乘遵循 (m, n) @ (n, p) -> (m, p)。左矩阵的列数必须等于右矩阵的行数,计算结果保留左矩阵的行数和右矩阵的列数。

矩阵乘法与逐元素乘法不同。a * b 要求形状相同或能够广播,结果按位置相乘;a @ b 会对公共内维执行乘加归约,用于线性层、注意力分数和坐标变换等计算。

当输入包含批次维时,可把形状写成 (..., m, n) @ (..., n, p)。最后两维负责矩阵乘法,前面的批次维按照广播规则对齐。

批量矩阵乘法的维度流向图

主示例:批量线性变换与归约

下面的 x 包含 2 个样本,每个样本有 3 个位置,每个位置有 4 个特征。权重矩阵把 4 个输入特征映射为 2 个输出特征。

python
import torch

x = torch.arange(24, dtype=torch.float32).reshape(2, 3, 4)
weight = torch.ones(4, 2)

# matmul 自动把同一个二维权重应用到每个批次
y = torch.matmul(x, weight)

# bmm 专门处理两个三维张量,这里计算每个批次内部的位置相关矩阵
scores = torch.bmm(x, x.transpose(1, 2))

# 沿位置维求平均,保留批次维和输出特征维
batch_mean = y.mean(dim=1)

print(y.shape)
print(y[0, 0])
print(scores.shape)
print(batch_mean)

预期输出:

text
torch.Size([2, 3, 2])
tensor([6., 6.])
torch.Size([2, 3, 3])
tensor([[22., 22.],
        [70., 70.]])

torch.matmul 支持向量、矩阵和带批次维的高维张量,并允许前置批次维广播。torch.bmm 只接受两个三维张量,形状应为 (b, m, n) 与 (b, n, p),且不会自动广播批次数量。

归约操作如何改变形状

归约操作会沿指定维度合并元素。常用接口包括 sum、mean、max、min 和 argmax。示例中的 y.mean(dim=1) 消除了位置维,因此形状从 (2, 3, 2) 变为 (2, 2)。

当后续计算仍需要该轴时,可以设置 keepdim=True。例如对形状 (batch, length, feature) 的张量沿 length 求均值并保留维度,结果为 (batch, 1, feature),更容易与原张量再次广播。

选择 dim 前应明确每个轴的含义。对错误的维度求和通常不会报错,却会改变统计语义,因此比单纯的形状异常更难发现。

常用接口与选择原则

需求 推荐接口 关键限制
通用矩阵乘法 torch.matmul 或 @ 支持批次维广播
两个三维批量矩阵相乘 torch.bmm 批次数必须相同
解线性方程组 torch.linalg.solve 通常优于显式求逆
计算范数 torch.linalg.vector_norm、torch.linalg.matrix_norm 需区分向量维和矩阵维
奇异值分解 torch.linalg.svd 计算量较大,注意批次形状

数值计算中通常不要先调用 torch.linalg.inv 再相乘。若目标是求解 AX=BAX=B,直接使用 torch.linalg.solve(A, B) 往往更稳定,也更符合实际计算目的。

常见错误与验证方法

出现“矩阵形状无法相乘”时,应先检查左张量最后一维是否等于右张量倒数第二维。不要只看张量总元素数,也不要通过随意 reshape 强行消除错误。

批量计算还要检查批次轴的位置。若数据实际形状是 (length, batch, feature),却按 (batch, length, feature) 使用,代码可能运行但样本会被错误混合。必要时使用 permute 明确换轴,并在关键步骤断言 shape。

最后核对 dtype 和设备。参与矩阵运算的张量通常需要位于同一设备,并使用兼容的数据类型;模型参数为浮点类型时,整型输入应先完成适当转换。

本课总结

  • 矩阵乘法要求公共内维一致,输出保留外侧两维
  • torch.matmul 适合通用和可广播批处理,torch.bmm 适合严格三维批量矩阵
  • 归约操作必须根据轴的业务含义选择 dim,必要时用 keepdim=True 保留维度

下一课预告

下一课将进入自动微分,学习计算图、梯度累积以及如何通过反向传播获得参数梯度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

矩阵运算与批处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通