大模型原理与训练 / 系统课时

向量与矩阵乘法

向量与矩阵乘法

本课解决神经网络中“张量为什么能相乘、相乘后形状如何变化”的问题。学完后,你能从维度判断运算是否合法,并读懂线性层与注意力计算中的矩阵乘法。

学习目标

  • 区分向量、矩阵、转置及其形状表示
  • 掌握矩阵乘向量、矩阵乘矩阵的维度规则
  • 理解批量矩阵乘法在神经网络中的作用

从形状读懂运算

向量是一组有顺序的数,可看成只有一行或一列的矩阵。长度为 nn 的列向量形状记为 n×1n\times 1;矩阵由多行多列组成,形状记为“行数 × 列数”。

转置会交换两个轴。若矩阵 AA 的形状为 m×nm\times n,则 ATA^T 的形状为 n×mn\times m。转置只改变元素的排列方式,不会改变元素本身。

向量、矩阵与批量矩阵乘法的形状关系

判断矩阵乘法是否合法,只需检查左侧对象的最后一个维度,是否等于右侧对象的倒数第二个维度。这个相等的维度会在运算中被消去。

矩阵乘向量

设 WW 的形状为 m×nm\times n,列向量 xx 的形状为 n×1n\times 1,则结果 y=Wxy=Wx 的形状为 m×1m\times 1。第 ii 个输出由 WW 的第 ii 行与 xx 做逐项相乘后求和:

yi=∑j=1nWijxjy_i=\sum_{j=1}^{n}W_{ij}x_j

例如,WW 的两行分别为 (1,2,0)(1,2,0)、(−1,1,3)(-1,1,3),x=(2,1,−1)Tx=(2,1,-1)^T。计算得到:

  • 第一项:1×2+2×1+0×(−1)=41\times2+2\times1+0\times(-1)=4
  • 第二项:−1×2+1×1+3×(−1)=−4-1\times2+1\times1+3\times(-1)=-4

因此输出为 y=(4,−4)Ty=(4,-4)^T。在线性层中,矩阵的每一行可以理解为一个输出特征的权重,乘法负责把输入特征重新组合成新的表示。

矩阵乘矩阵与批量计算

若 AA 的形状为 m×nm\times n,BB 的形状为 n×pn\times p,则 C=ABC=AB 的形状为 m×pm\times p。结果中的每个元素,来自 AA 的一行与 BB 的一列的点积。

神经网络通常一次处理多个样本。若批量输入 XX 的形状为 b×db\times d,权重矩阵 WW 的形状为 d×hd\times h,则 XWXW 的形状为 b×hb\times h。同一组权重会应用到批次中的每一行,因此不需要为每个样本单独写循环。

更高维的批量矩阵乘法遵循相同规则。若张量 PP 的形状为 b×m×kb\times m\times k,张量 QQ 的形状为 b×k×nb\times k\times n,输出形状就是 b×m×nb\times m\times n;每个批次位置独立完成一次 m×km\times k 与 k×nk\times n 的矩阵乘法。

转置与维度检查

Transformer 中常见 QKTQK^T。若 QQ 的形状为 b×t×db\times t\times d,KK 的形状为 b×s×db\times s\times d,转置最后两个轴后,KTK^T 变为 b×d×sb\times d\times s,于是结果形状为 b×t×sb\times t\times s,表示每个查询位置与每个键位置之间的关系。

遇到维度错误时,按以下顺序检查:先写出每个张量的完整形状,再确认相乘的两个内维相等,最后确认转置交换的是哪两个轴。不要只看元素总数,因为元素数量相同并不代表轴的语义相同。

本课总结

  • 矩阵乘法要求相邻的内维一致,输出保留两侧的外维
  • 转置通过交换轴来满足运算需要,并改变结果的语义排列
  • 批量矩阵乘法本质上是在多个样本或多个头上并行执行同一规则

下一课预告

下一课将聚焦点积与相似度,解释为什么两个向量逐项相乘再求和,就能成为注意力机制衡量相关性的核心工具。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

向量与矩阵乘法

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通