大模型原理与训练 / 系统课时

推导 Query Key Value 计算

推导 Query Key Value 计算

这一节把固定平均升级为内容相关的自注意力:每个位置先生成 Query、Key、Value,再用 Query 与所有可见 Key 的匹配程度决定读取权重,最后对 Value 做加权求和。完成后,你可以从张量形状直接读懂 nanoGPT 中单头注意力的核心计算。

学习目标

  • 解释 Query、Key、Value 在内容相关读取中的不同职责。
  • 推导缩放点积注意力从线性投影到加权求和的完整计算。
  • 根据张量形状检查因果遮罩、Softmax 与矩阵乘法是否放在正确维度。

Query Key Value 分别做什么

对输入 XX 做三次独立线性投影:

Q=XWQ,K=XWK,V=XWVQ=XW_Q,\quad K=XW_K,\quad V=XW_V

可以把它们理解成三种角色:Query 表示“当前位置想找什么”,Key 表示“每个位置可供匹配的特征”,Value 表示“匹配后真正要取走的信息”。因此,相关性由 Query 和 Key 决定,而最终被汇聚的是 Value。

Query Key Value 到注意力输出的数据流

推导缩放点积注意力

先计算每个 Query 与所有 Key 的点积,得到两两位置之间的相关性分数:

S=QKTdkS=\frac{QK^T}{\sqrt{d_k}}

除以 dk\sqrt{d_k} 是为了抑制维度变大后点积幅度随之增大的问题,避免 Softmax 过早进入极端饱和区域。随后把未来位置的分数替换为负无穷,再沿最后一个维度做 Softmax:

A=softmax⁡(mask⁡(S))A=\operatorname{softmax}(\operatorname{mask}(S))

于是每一行 AtA_t 都是一组和为 1 的读取权重,而且只有当前位置与历史位置可能获得非零概率。最后执行:

O=AVO=AV

这一步与上一节的均值聚合形式完全一致,区别只在于 AA 不再是预先写死的平均矩阵,而是由当前输入内容动态计算出来。

用最小张量验算

下面让 Query 和 Key 直接等于输入,只给 Value 一个固定投影,这样可以把注意力权重和最终输出同时看清楚。

python
import math
import torch

torch.set_printoptions(precision=4, sci_mode=False)

x = torch.tensor([
    [1.0, 0.0],
    [0.0, 1.0],
    [1.0, 1.0],
])

q = x
k = x
wv = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
v = x @ wv

scores = q @ k.T / math.sqrt(q.size(-1))
mask = torch.tril(torch.ones(3, 3, dtype=torch.bool))
scores = scores.masked_fill(~mask, float("-inf"))
weights = torch.softmax(scores, dim=-1)
out = weights @ v

print("attention weights:")
print(weights)
print("output:")
print(out)

预期输出

text
attention weights:
tensor([[1.0000, 0.0000, 0.0000],
        [0.3302, 0.6698, 0.0000],
        [0.2483, 0.2483, 0.5035]])
output:
tensor([[1.0000, 2.0000],
        [2.3395, 3.3395],
        [3.0070, 4.5105]])

第一行只能读取自己,所以权重必为 [1, 0, 0]。第二行只能在前两个位置之间分配概率;第三行可以读取全部三个位置,并因为第三个 Key 与当前 Query 的点积更大而给它更高权重。

用形状检查实现是否正确

单头情况下,若 Q,K∈RB×T×dkQ,K\in\mathbb{R}^{B\times T\times d_k},则 Q @ K.transpose(-2, -1) 的结果必须是 B×T×TB\times T\times T,因为每个位置都要与序列中的每个 Key 比较。遮罩和 Softmax 都作用在这个位置对位置的矩阵上。

Value 可以使用维度 dvd_v,因此 V∈RB×T×dvV\in\mathbb{R}^{B\times T\times d_v},最终 A@VA@V 会回到 B×T×dvB\times T\times d_v。如果你的注意力分数不是 T×TT\times T,或 Softmax 没有沿 Key 所在的最后一维归一化,通常说明转置或维度选择出了问题。

Q/K 决定“读谁”,V 决定“读到什么”,因果遮罩决定“允许读谁”。把这三层职责分开后,nanoGPT 中看似紧凑的几行注意力代码就可以按矩阵形状逐步验证,而不再只是记公式。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

推导 Query Key Value 计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通