大模型原理与训练 / 系统课时

交叉注意力

交叉注意力

交叉注意力解决的是“解码器下一步该从输入序列读取什么信息”。它让解码器当前位置生成查询,同时把编码器输出作为可反复检索的记忆,从而把已经生成的上下文与原始输入对齐。

学习目标

  • 说清交叉注意力中查询、键和值分别来自哪里
  • 根据张量形状追踪注意力分数和输出
  • 区分因果自注意力与交叉注意力的职责和掩码

交叉注意力的本质

设解码器当前隐藏状态为 YY,编码器最终输出为 HH。交叉注意力先分别投影出查询、键和值:

  • 查询 Q=YWQQ = YW_Q,表示解码器当前位置正在寻找什么
  • 键 K=HWKK = HW_K,用于判断每个输入位置与查询的匹配程度
  • 值 V=HWVV = HW_V,保存匹配后真正要读取的内容

因此,交叉注意力不是让解码器只看某一个固定输入位置,而是为每个目标位置计算一组对全部源位置的权重,再对编码器信息做加权汇总。

交叉注意力中解码器查询读取编码器记忆的数据流

计算可概括为:

A=softmax(QKT/dk1/2+M),O=AVA = softmax(QK^T / d_k^{1/2} + M),\quad O = AV

其中 MM 通常是编码器侧的填充掩码,用来屏蔽补齐位置;普通编码器—解码器任务不会对源序列使用因果掩码,因为解码器需要访问完整输入。

从形状理解计算过程

假设批大小为 BB,目标长度为 TT,源长度为 SS,单头维度为 dkd_k。各张量的典型形状如下:

张量 形状 含义
QQ [B,T,dk][B,T,d_k] 每个目标位置的查询
KK [B,S,dk][B,S,d_k] 每个源位置的匹配索引
VV [B,S,dv][B,S,d_v] 每个源位置携带的内容
QKTQK^T [B,T,S][B,T,S] 每个目标位置对全部源位置的分数
OO [B,T,dv][B,T,d_v] 为每个目标位置汇总出的源信息

关键是分数矩阵最后两个维度为 T×ST \times S。第 tt 行表示第 tt 个目标位置对全部 SS 个源位置的关注分布,因此源长度和目标长度不需要相等。

与自注意力的区别

对比项 因果自注意力 交叉注意力
查询来源 解码器当前序列 解码器当前序列
键和值来源 解码器当前序列 编码器输出
主要目的 建模已生成目标词之间的依赖 从输入序列读取相关信息
典型掩码 因果掩码与目标填充掩码 源序列填充掩码
分数矩阵 [B,T,T][B,T,T] [B,T,S][B,T,S]

两者通常连续出现:解码器先通过因果自注意力整理“我已经生成了什么”,再通过交叉注意力查询“输入里哪些内容与当前生成位置最相关”。交叉注意力输出随后进入前馈网络继续变换。

本课总结

  • 交叉注意力的 QQ 来自解码器,KK 和 VV 来自编码器输出
  • 注意力分数形状为 [B,T,S][B,T,S],每个目标位置都能读取完整源序列
  • 因果自注意力负责目标侧依赖,交叉注意力负责源目标对齐

下一课预告

下一课将把因果自注意力、交叉注意力和前馈网络组合起来,实现一个可运行的解码器层。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

交叉注意力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通