大模型原理与训练 / 系统课时
向量与矩阵乘法
向量与矩阵乘法
本课解决神经网络中“张量为什么能相乘、相乘后形状如何变化”的问题。学完后,你能从维度判断运算是否合法,并读懂线性层与注意力计算中的矩阵乘法。
学习目标
- 区分向量、矩阵、转置及其形状表示
- 掌握矩阵乘向量、矩阵乘矩阵的维度规则
- 理解批量矩阵乘法在神经网络中的作用
从形状读懂运算
向量是一组有顺序的数,可看成只有一行或一列的矩阵。长度为 的列向量形状记为 ;矩阵由多行多列组成,形状记为“行数 × 列数”。
转置会交换两个轴。若矩阵 的形状为 ,则 的形状为 。转置只改变元素的排列方式,不会改变元素本身。

判断矩阵乘法是否合法,只需检查左侧对象的最后一个维度,是否等于右侧对象的倒数第二个维度。这个相等的维度会在运算中被消去。
矩阵乘向量
设 的形状为 ,列向量 的形状为 ,则结果 的形状为 。第 个输出由 的第 行与 做逐项相乘后求和:
例如, 的两行分别为 、,。计算得到:
- 第一项:
- 第二项:
因此输出为 。在线性层中,矩阵的每一行可以理解为一个输出特征的权重,乘法负责把输入特征重新组合成新的表示。
矩阵乘矩阵与批量计算
若 的形状为 , 的形状为 ,则 的形状为 。结果中的每个元素,来自 的一行与 的一列的点积。
神经网络通常一次处理多个样本。若批量输入 的形状为 ,权重矩阵 的形状为 ,则 的形状为 。同一组权重会应用到批次中的每一行,因此不需要为每个样本单独写循环。
更高维的批量矩阵乘法遵循相同规则。若张量 的形状为 ,张量 的形状为 ,输出形状就是 ;每个批次位置独立完成一次 与 的矩阵乘法。
转置与维度检查
Transformer 中常见 。若 的形状为 , 的形状为 ,转置最后两个轴后, 变为 ,于是结果形状为 ,表示每个查询位置与每个键位置之间的关系。
遇到维度错误时,按以下顺序检查:先写出每个张量的完整形状,再确认相乘的两个内维相等,最后确认转置交换的是哪两个轴。不要只看元素总数,因为元素数量相同并不代表轴的语义相同。
本课总结
- 矩阵乘法要求相邻的内维一致,输出保留两侧的外维
- 转置通过交换轴来满足运算需要,并改变结果的语义排列
- 批量矩阵乘法本质上是在多个样本或多个头上并行执行同一规则
下一课预告
下一课将聚焦点积与相似度,解释为什么两个向量逐项相乘再求和,就能成为注意力机制衡量相关性的核心工具。