大模型原理与训练 / 系统课时

查询键和值

查询键和值

自注意力不会直接拿输入向量彼此比较,而是先把每个词元分别映射成 Query、Key 和 Value。理解这三类向量的分工后,就能看懂注意力为什么既能“寻找相关位置”,又能“汇总有用信息”。

学习目标

  • 说清 Query、Key、Value 各自承担的职责
  • 理解三组向量如何由同一输入线性映射得到
  • 能根据矩阵形状判断 Q、K、V 的维度是否正确

从一次信息检索理解 Q、K、V

可以把自注意力看成一次可学习的信息检索。当前位置提出“我需要什么”,序列中每个位置声明“我能被怎样匹配”,同时提供“真正可被取走的内容”。

Query 表示当前词元的查询需求;Key 表示每个词元用于匹配的特征;Value 表示匹配成功后要汇总的信息。注意力先比较 Query 与 Key,再用比较结果对 Value 加权,因此“匹配依据”和“传递内容”是分开的。

Query、Key 与 Value 的职责关系

线性映射与矩阵形状

设序列长度为 nn,每个词元的表示维度为 dmodeld_{model},把全部输入堆叠成矩阵 XX,则 XX 的形状为 n×dmodeln \times d_{model}。模型为三种角色分别学习一组参数矩阵:

Q=XWQQ=XW_Q
K=XWKK=XW_K
V=XWVV=XW_V

若 WQW_Q 和 WKW_K 的形状都是 dmodel×dkd_{model} \times d_k,则 QQ、KK 的形状都是 n×dkn \times d_k;若 WVW_V 的形状是 dmodel×dvd_{model} \times d_v,则 VV 的形状是 n×dvn \times d_v。三组映射输入相同但参数独立,使同一个词元能分别表达查询需求、匹配特征和传递内容。

假设一句话被分成 4 个词元,输入维度为 6,并把查询、键和值都映射到 3 维,则矩阵形状如下:

矩阵 形状 含义
XX 4×64 \times 6 4 个词元的输入表示
WQ,WK,WVW_Q,W_K,W_V 6×36 \times 3 三组可学习映射参数
Q,K,VQ,K,V 4×34 \times 3 每个词元对应一组 Q、K、V 向量

矩阵乘法只改变特征维度,不改变词元数量。因此生成 Q、K、V 后,第一维仍然等于序列长度 4,后续每个 Query 才能与 4 个 Key 逐一比较。

容易混淆的两点

Q、K、V 不是三个不同的输入序列,而是同一批输入经过三组不同参数得到的三种视角。在自注意力中,它们通常都来自同一个 XX;在编码器—解码器注意力中,Query 可以来自解码器,而 Key 和 Value 来自编码器。

Key 与 Value 也不能合并理解。Key 决定某个位置应该获得多大权重,Value 决定该位置最终贡献什么内容。一个位置可以因为 Key 很匹配而被高度关注,但真正加入输出的是它的 Value。

本课总结

  • Query 描述查询需求,Key 负责匹配,Value 承载被汇总的信息
  • Q、K、V 由同一输入矩阵分别乘以独立参数矩阵得到
  • 线性映射改变特征维度,但不会改变序列长度

下一课预告

下一课将使用 Query 与 Key 的点积构造注意力分数矩阵,并逐项解释矩阵中每个位置代表什么。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

查询键和值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通