机器学习与深度学习 / 系统课时
掌握矩阵基础运算
掌握矩阵基础运算
神经网络中的线性层、批量计算和特征变换都离不开矩阵运算。本课用同一组小矩阵串起加法、转置、矩阵乘法和广播,重点掌握形状规则,并用 PyTorch 直接验证每一步结果。
学习目标
- 掌握矩阵加法、转置和矩阵乘法的形状规则。
- 能手算一个矩阵乘法元素并核对结果。
- 能判断 PyTorch 广播何时成立、结果形状是什么。
加法与转置先看形状
矩阵加法要求对应位置逐元素相加,最直接的情况是两个矩阵形状完全相同。例如 、,结果为 [[11,22],[33,44]]。
转置会交换两个轴。若矩阵 的形状为 ,那么 的形状就是 。在全连接层中,转置常用于让权重矩阵的输入维与数据最后一维对齐,但是否需要转置必须由实际 shape 决定,不能凭习惯添加。
矩阵乘法检查内维
若 的形状为 , 的形状为 ,则 的结果形状为 。中间两个维度必须相等,这是最先要检查的条件。
取 和 。结果左上角元素来自第一行和第一列的点积:;右上角则是 。

广播不是随意复制
广播允许不同形状参与逐元素运算,但要从最后一个维度向前比较:两个维度相等,或其中一个为 1,或其中一方缺少该维度时才兼容。比如形状 [2, 2] 的矩阵加形状 [2] 的偏置向量,PyTorch 会把偏置视为每一行都加同一组值。
假设 C=[[22,28],[49,64]],偏置 b=[10,20],广播相加后得到 [[32,48],[59,84]]。若改成长度为 3 的向量 [10,20,30],最后一维 2 与 3 不兼容,运算会直接报维度不匹配,而不是自动猜测该如何复制。
用 PyTorch 验证四种运算
下面一次验证转置、矩阵乘法、广播和逐元素加法。@ 表示矩阵乘法,+ 对张量执行逐元素加法,并按广播规则补齐兼容维度。
import torch
A = torch.tensor([
[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0],
])
B = torch.tensor([
[1.0, 2.0],
[3.0, 4.0],
[5.0, 6.0],
])
bias = torch.tensor([10.0, 20.0])
C = A @ B
Y = C + bias
print(A.T)
print(C)
print(Y)
print(C.shape, Y.shape)预期输出
tensor([[1., 4.],
[2., 5.],
[3., 6.]])
tensor([[22., 28.],
[49., 64.]])
tensor([[32., 48.],
[59., 84.]])
torch.Size([2, 2]) torch.Size([2, 2])遇到 mat1 and mat2 shapes cannot be multiplied 一类错误时,先写出两边形状并检查矩阵乘法的内维;遇到逐元素运算报尺寸不兼容时,则从最后一维开始检查广播条件。这样能把“公式看起来没问题”转成可直接验证的形状约束。