大模型原理与训练 / 系统课时
注意力头拆分与合并
注意力头拆分与合并
多头注意力真正容易出错的地方不是公式,而是张量维度。本文用批次、序列长度、头数和每头维度四个轴,完整追踪输入如何拆头、转置、计算注意力,再合并回模型维度。
学习目标
- 读懂多头注意力各阶段的张量形状
- 掌握拆头、转置、合并的正确顺序
- 识别
reshape、transpose与内存连续性相关的常见错误
从模型维度拆成多个头
设输入张量形状为 ,其中 是批次大小, 是序列长度, 是模型维度。若头数为 ,每个头的维度为 ,通常要求:
输入先分别经过查询、键和值投影,形状仍为 。随后把最后一维拆成头数和每头维度:
但注意力计算希望每个头独立参与批量矩阵乘法,因此还要交换序列轴与头轴:

注意力计算中的形状
拆头后,查询、键和值通常具有以下形状:
| 张量 | 形状 | 含义 |
|---|---|---|
| 每个头的查询 | ||
| 每个头的键 | ||
| 每个头的值 |
查询与转置后的键相乘:
得到注意力分数 。经过缩放、掩码和 Softmax 后,再与 相乘,输出形状恢复为 。每个头都保留自己的结果,尚未回到统一模型维度。
合并多个注意力头
合并时先把头轴移回序列轴之后:
再把最后两个维度展平:
这里的顺序不能颠倒。若直接在 上展平最后两维,会把序列位置与头内特征错误地交织,虽然元素总数不变,但语义排列已经改变。
合并完成后还要经过输出投影 。它不会改变整体形状,仍输出 ,但会混合来自不同头的特征。
一个完整形状示例
设 、、、,则 。各阶段形状如下:
| 阶段 | 形状 |
|---|---|
| 输入与线性投影 | |
| 拆分头 | |
| 转置后并行计算 | |
| 每个头的注意力分数 | |
| 每个头的输出 | |
| 转置回序列优先 | |
| 合并头 | |
| 输出投影 |
判断形状是否正确时,可以检查三个不变量:批次大小不变、序列长度在自注意力中前后一致、 必须等于 。
常见错误与排查
第一类错误是模型维度不能被头数整除。例如 、 时无法得到整数每头维度,应在初始化阶段直接拒绝该配置。
第二类错误是漏掉轴交换。把 直接当成注意力输入,会让矩阵乘法沿错误的维度工作,常见结果是形状报错,或在错误广播下得到没有语义意义的结果。
第三类错误是转置后直接使用依赖连续内存的重塑操作。某些深度学习框架中,转置只改变视图的步长;合并前需要先转为连续布局,或使用能够安全处理非连续张量的重塑方法。排查时应同时打印形状、轴顺序和连续性状态,而不只检查元素数量。
本课总结
- 拆头的关键路径是
- 合并必须先把头轴移回,再展平为
- 形状正确不代表语义一定正确,轴顺序和内存布局同样需要检查
下一课预告
下一课将进入位置编码,解释注意力机制为何本身不感知词序,以及如何把位置信息注入词元表示。