大模型原理与训练 / 系统课时

注意力头拆分与合并

注意力头拆分与合并

多头注意力真正容易出错的地方不是公式,而是张量维度。本文用批次、序列长度、头数和每头维度四个轴,完整追踪输入如何拆头、转置、计算注意力,再合并回模型维度。

学习目标

  • 读懂多头注意力各阶段的张量形状
  • 掌握拆头、转置、合并的正确顺序
  • 识别 reshape、transpose 与内存连续性相关的常见错误

从模型维度拆成多个头

设输入张量形状为 [B,L,D][B,L,D],其中 BB 是批次大小,LL 是序列长度,DD 是模型维度。若头数为 HH,每个头的维度为 DhD_h,通常要求:

D=H×DhD=H\times D_h

输入先分别经过查询、键和值投影,形状仍为 [B,L,D][B,L,D]。随后把最后一维拆成头数和每头维度:

[B,L,D]→[B,L,H,Dh][B,L,D]\rightarrow[B,L,H,D_h]

但注意力计算希望每个头独立参与批量矩阵乘法,因此还要交换序列轴与头轴:

[B,L,H,Dh]→[B,H,L,Dh][B,L,H,D_h]\rightarrow[B,H,L,D_h]

注意力头拆分、计算与合并的张量轴变化

注意力计算中的形状

拆头后,查询、键和值通常具有以下形状:

张量 形状 含义
QQ [B,H,Lq,Dh][B,H,L_q,D_h] 每个头的查询
KK [B,H,Lk,Dh][B,H,L_k,D_h] 每个头的键
VV [B,H,Lk,Dh][B,H,L_k,D_h] 每个头的值

查询与转置后的键相乘:

QKT:[B,H,Lq,Dh]×[B,H,Dh,Lk]QK^T:[B,H,L_q,D_h]\times[B,H,D_h,L_k]

得到注意力分数 [B,H,Lq,Lk][B,H,L_q,L_k]。经过缩放、掩码和 Softmax 后,再与 VV 相乘,输出形状恢复为 [B,H,Lq,Dh][B,H,L_q,D_h]。每个头都保留自己的结果,尚未回到统一模型维度。

合并多个注意力头

合并时先把头轴移回序列轴之后:

[B,H,L,Dh]→[B,L,H,Dh][B,H,L,D_h]\rightarrow[B,L,H,D_h]

再把最后两个维度展平:

[B,L,H,Dh]→[B,L,H×Dh]=[B,L,D][B,L,H,D_h]\rightarrow[B,L,H\times D_h]=[B,L,D]

这里的顺序不能颠倒。若直接在 [B,H,L,Dh][B,H,L,D_h] 上展平最后两维,会把序列位置与头内特征错误地交织,虽然元素总数不变,但语义排列已经改变。

合并完成后还要经过输出投影 WOW^O。它不会改变整体形状,仍输出 [B,L,D][B,L,D],但会混合来自不同头的特征。

一个完整形状示例

设 B=2B=2、L=10L=10、D=512D=512、H=8H=8,则 Dh=64D_h=64。各阶段形状如下:

阶段 形状
输入与线性投影 [2,10,512][2,10,512]
拆分头 [2,10,8,64][2,10,8,64]
转置后并行计算 [2,8,10,64][2,8,10,64]
每个头的注意力分数 [2,8,10,10][2,8,10,10]
每个头的输出 [2,8,10,64][2,8,10,64]
转置回序列优先 [2,10,8,64][2,10,8,64]
合并头 [2,10,512][2,10,512]
输出投影 [2,10,512][2,10,512]

判断形状是否正确时,可以检查三个不变量:批次大小不变、序列长度在自注意力中前后一致、H×DhH\times D_h 必须等于 DD。

常见错误与排查

第一类错误是模型维度不能被头数整除。例如 D=510D=510、H=8H=8 时无法得到整数每头维度,应在初始化阶段直接拒绝该配置。

第二类错误是漏掉轴交换。把 [B,L,H,Dh][B,L,H,D_h] 直接当成注意力输入,会让矩阵乘法沿错误的维度工作,常见结果是形状报错,或在错误广播下得到没有语义意义的结果。

第三类错误是转置后直接使用依赖连续内存的重塑操作。某些深度学习框架中,转置只改变视图的步长;合并前需要先转为连续布局,或使用能够安全处理非连续张量的重塑方法。排查时应同时打印形状、轴顺序和连续性状态,而不只检查元素数量。

本课总结

  • 拆头的关键路径是 [B,L,D]→[B,L,H,Dh]→[B,H,L,Dh][B,L,D]\rightarrow[B,L,H,D_h]\rightarrow[B,H,L,D_h]
  • 合并必须先把头轴移回,再展平为 [B,L,D][B,L,D]
  • 形状正确不代表语义一定正确,轴顺序和内存布局同样需要检查

下一课预告

下一课将进入位置编码,解释注意力机制为何本身不感知词序,以及如何把位置信息注入词元表示。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注意力头拆分与合并

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通