机器学习与深度学习 / 系统课时

掌握矩阵基础运算

掌握矩阵基础运算

神经网络中的线性层、批量计算和特征变换都离不开矩阵运算。本课用同一组小矩阵串起加法、转置、矩阵乘法和广播,重点掌握形状规则,并用 PyTorch 直接验证每一步结果。

学习目标

  • 掌握矩阵加法、转置和矩阵乘法的形状规则。
  • 能手算一个矩阵乘法元素并核对结果。
  • 能判断 PyTorch 广播何时成立、结果形状是什么。

加法与转置先看形状

矩阵加法要求对应位置逐元素相加,最直接的情况是两个矩阵形状完全相同。例如 A=[[1,2],[3,4]]A=[[1,2],[3,4]]、B=[[10,20],[30,40]]B=[[10,20],[30,40]],结果为 [[11,22],[33,44]]。

转置会交换两个轴。若矩阵 MM 的形状为 2×32\times3,那么 MTM^T 的形状就是 3×23\times2。在全连接层中,转置常用于让权重矩阵的输入维与数据最后一维对齐,但是否需要转置必须由实际 shape 决定,不能凭习惯添加。

矩阵乘法检查内维

若 AA 的形状为 m×nm\times n,BB 的形状为 n×pn\times p,则 A@BA@B 的结果形状为 m×pm\times p。中间两个维度必须相等,这是最先要检查的条件。

取 A=[[1,2,3],[4,5,6]]A=[[1,2,3],[4,5,6]] 和 B=[[1,2],[3,4],[5,6]]B=[[1,2],[3,4],[5,6]]。结果左上角元素来自第一行和第一列的点积:1×1+2×3+3×5=221\times1+2\times3+3\times5=22;右上角则是 1×2+2×4+3×6=281\times2+2\times4+3\times6=28。

矩阵乘法与广播的形状规则

广播不是随意复制

广播允许不同形状参与逐元素运算,但要从最后一个维度向前比较:两个维度相等,或其中一个为 1,或其中一方缺少该维度时才兼容。比如形状 [2, 2] 的矩阵加形状 [2] 的偏置向量,PyTorch 会把偏置视为每一行都加同一组值。

假设 C=[[22,28],[49,64]],偏置 b=[10,20],广播相加后得到 [[32,48],[59,84]]。若改成长度为 3 的向量 [10,20,30],最后一维 2 与 3 不兼容,运算会直接报维度不匹配,而不是自动猜测该如何复制。

用 PyTorch 验证四种运算

下面一次验证转置、矩阵乘法、广播和逐元素加法。@ 表示矩阵乘法,+ 对张量执行逐元素加法,并按广播规则补齐兼容维度。

python
import torch

A = torch.tensor([
    [1.0, 2.0, 3.0],
    [4.0, 5.0, 6.0],
])
B = torch.tensor([
    [1.0, 2.0],
    [3.0, 4.0],
    [5.0, 6.0],
])
bias = torch.tensor([10.0, 20.0])

C = A @ B
Y = C + bias

print(A.T)
print(C)
print(Y)
print(C.shape, Y.shape)

预期输出

text
tensor([[1., 4.],
        [2., 5.],
        [3., 6.]])
tensor([[22., 28.],
        [49., 64.]])
tensor([[32., 48.],
        [59., 84.]])
torch.Size([2, 2]) torch.Size([2, 2])

遇到 mat1 and mat2 shapes cannot be multiplied 一类错误时,先写出两边形状并检查矩阵乘法的内维;遇到逐元素运算报尺寸不兼容时,则从最后一维开始检查广播条件。这样能把“公式看起来没问题”转成可直接验证的形状约束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

掌握矩阵基础运算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通