大模型原理与训练 / 系统课时

注意力分数计算

注意力分数计算

得到 Query 和 Key 后,下一步是计算每个词元对其他位置的相关性。本课将从单个点积扩展到完整分数矩阵,并通过形状推导确认每一行、每一列和每个元素的准确含义。

学习目标

  • 理解 Query 与 Key 点积为何能表示匹配程度
  • 推导注意力分数矩阵的形状与元素含义
  • 能用一个小型数值示例验证矩阵计算结果

从单个点积到分数矩阵

设第 ii 个词元的查询向量为 qiq_i,第 jj 个词元的键向量为 kjk_j,两者的原始注意力分数为:

sij=qi⋅kjs_{ij}=q_i \cdot k_j

点积会把两个同维向量压缩成一个标量。方向越一致,结果通常越大,表示第 ii 个位置更关注第 jj 个位置;结果较小或为负,则表示匹配程度较弱。这个分数此时还不是概率,只是归一化前的相似度。

若 QQ 和 KK 的形状都是 n×dkn \times d_k,需要让每个 Query 与每个 Key 都计算一次点积。把 KK 转置后即可批量计算:

S=QKTS=QK^T

矩阵形状推导为:

(n×dk)(dk×n)=n×n(n \times d_k)(d_k \times n)=n \times n

因此,SS 的行数和列数都等于序列长度。第 ii 行表示第 ii 个 Query 对所有 Key 的分数,第 jj 列表示所有 Query 对第 jj 个 Key 的分数,元素 SijS_{ij} 就是 qiq_i 与 kjk_j 的点积。

注意力分数矩阵的行列含义

数值示例与验证

下面使用 3 个词元、每个向量 2 维的例子。代码直接计算 QKTQK^T,便于核对每个分数来自哪一组点积。

python
import numpy as np

Q = np.array([
    [1.0, 0.0],
    [0.0, 1.0],
    [1.0, 1.0],
])

K = np.array([
    [1.0, 0.0],
    [1.0, 1.0],
    [0.0, 1.0],
])

# K.T 把每个 Key 放到列方向,使所有 Query 可一次完成点积
scores = Q @ K.T

print(scores)
print(scores.shape)

预期输出

text
[[1. 1. 0.]
 [0. 1. 1.]
 [1. 2. 1.]]
(3, 3)

例如第二行第三列等于 1,因为 q2=[0,1]q_2=[0,1] 与 k3=[0,1]k_3=[0,1] 的点积为 1。第三行第二列等于 2,因为 [1,1]⋅[1,1]=2[1,1] \cdot [1,1]=2。输出形状为 (3,3)(3,3),对应 3 个 Query 分别与 3 个 Key 比较。

缩放与计算边界

当 dkd_k 较大时,点积的绝对值往往随维度增大。过大的分数进入 Softmax 后容易让分布过于尖锐,使梯度变小。缩放点积注意力因此使用:

S=QKTdkS=\frac{QK^T}{\sqrt{d_k}}

缩放不会改变矩阵形状,也不会改变元素的行列含义,只是控制数值范围。当前阶段得到的仍是未归一化分数,后续还需要结合掩码并执行 Softmax,才能成为可用于加权 Value 的注意力权重。

计算时不能直接使用 QKQK。当二者形状同为 n×dkn \times d_k 时,通常无法相乘;即使特殊维度碰巧可乘,结果也不是“每个 Query 对每个 Key”的分数矩阵。左侧 QQ 决定结果的行,右侧 KTK^T 决定结果的列,因此 SijS_{ij} 表示第 ii 个 Query 对第 jj 个 Key。

本课总结

  • 单个注意力分数是 Query 与 Key 的点积,表示两者的匹配程度
  • QKTQK^T 会生成 n×nn \times n 分数矩阵,每行对应一个 Query
  • 除以 dk\sqrt{d_k} 只调整数值尺度,不改变矩阵结构

下一课预告

下一课将把分数矩阵经过缩放、掩码和 Softmax 转换为注意力权重,并解释权重如何作用于 Value。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注意力分数计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通