机器学习与深度学习 / 系统课时

矩阵与批量运算

矩阵与批量运算

本课解决“张量怎样完成神经网络中的线性变换”这一核心问题。你将从向量点积开始,掌握二维矩阵乘法与三维批量矩阵乘法,并能通过形状检查快速定位维度不匹配。

学习目标

  • 区分点积、矩阵乘法和批量矩阵乘法
  • 根据输入形状判断乘法是否可执行及输出形状
  • 使用 torch.dot、@、torch.matmul 和 torch.bmm

先看清形状规则

两个一维向量做点积时,元素数量必须相同,结果是一个标量。二维矩阵相乘时,左矩阵的最后一维必须等于右矩阵的倒数第二维,例如 [m, k] @ [k, n] 得到 [m, n]。

三维批量矩阵通常写成 [batch, m, k] 与 [batch, k, n],每个批次独立相乘,输出为 [batch, m, n]。torch.bmm 要求两个输入都是三维且批次数一致;torch.matmul 更通用,并支持高维广播。

矩阵乘法与批量矩阵乘法的维度关系

完成点积、矩阵乘法与批量乘法

下面的示例依次演示三种运算,并打印结果形状。矩阵乘法使用 @,它与这里的 torch.matmul 语义一致;批量矩阵乘法使用约束更明确的 torch.bmm。

python
import torch

u = torch.tensor([1.0, 2.0, 3.0])
v = torch.tensor([4.0, 5.0, 6.0])
print("dot:", torch.dot(u, v))

x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
weight = torch.tensor([[1.0, 0.0], [0.0, 1.0], [1.0, 1.0]])
matrix_out = x @ weight
print("matrix_shape:", tuple(matrix_out.shape))
print("matrix_out:", matrix_out)

batch_x = torch.tensor(
    [[[1.0, 2.0], [3.0, 4.0]], [[5.0, 6.0], [7.0, 8.0]]]
)
batch_weight = torch.tensor(
    [[[1.0, 0.0], [0.0, 1.0]], [[0.0, 1.0], [1.0, 0.0]]]
)

# 每个批次使用各自的 2×2 权重矩阵
batch_out = torch.bmm(batch_x, batch_weight)
print("batch_shape:", tuple(batch_out.shape))
print("batch_out:", batch_out)

预期输出:

text
dot: tensor(32.)
matrix_shape: (2, 2)
matrix_out: tensor([[ 4.,  5.],
        [10., 11.]])
batch_shape: (2, 2, 2)
batch_out: tensor([[[1., 2.],
         [3., 4.]],

        [[6., 5.],
         [8., 7.]]])

对应到神经网络线性层

神经网络中的全连接计算本质上是“输入矩阵乘权重矩阵,再加偏置”。若输入形状为 [batch, in_features],权重形状为 [in_features, out_features],输出形状就是 [batch, out_features]。

PyTorch 的 torch.nn.Linear 对权重采用内部存储布局,并自动处理偏置与梯度,因此业务代码通常直接使用线性层。手写矩阵乘法的价值在于理解形状变化、检查自定义网络模块以及调试维度错误。

广播、连续性与边界

当多个样本共享同一权重矩阵时,可以直接使用 torch.matmul:高维输入的最后两个维度参与矩阵乘法,前面的维度按广播规则处理。若每个批次都有独立权重且输入严格为三维,torch.bmm 的意图更清晰。

矩阵乘法不会自动修正维度顺序。出现“shapes cannot be multiplied”一类错误时,应依次打印左右张量的 shape,检查左侧最后一维是否等于右侧倒数第二维,再判断是否错误使用了 transpose、reshape 或 squeeze。

reshape 只改变视图组织方式,不能替代数学上的转置。交换矩阵维度应使用 transpose 或 mT,否则即使元素总数相同,也可能得到语义错误的计算。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

矩阵与批量运算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通