机器学习与深度学习 / 系统课时
多头注意力
多头注意力
多头注意力把一次注意力计算拆成多组独立投影,让模型同时关注位置对应、局部搭配和长距离依赖。本课将从计算公式、张量形状和可运行代码三个角度,追踪输入如何变成各个注意力头并重新合并。
学习目标
- 说明多头注意力比单头注意力多出的计算步骤。
- 跟踪
Q、K、V在拆头、计算和合并时的形状变化。 - 使用 PyTorch 验证输出张量与每个注意力头的权重形状。
为什么要使用多个注意力头
单头注意力只在一组投影空间中比较序列元素。它可以学习重要关系,但所有关系都被压在同一组相似度分数里,表达容量有限。
多头注意力为每个头分别学习 、 和 。不同头不需要被人工指定职责,却可能分别偏向相邻词、语法搭配、指代关系或跨位置依赖。最后再把各头结果拼接并做一次线性投影,使输出维度回到模型维度。
计算过程与形状变化
设批量大小为 ,序列长度为 ,模型维度为 ,头数为 ,并令每个头的维度 。因此,d_model 必须能被 h 整除。
输入 X 的形状是 [B, L, d_model]。经过三组线性层得到 Q、K、V 后,把最后一维拆成 h × d_k,再交换维度,变为 [B, h, L, d_k]。每个头独立计算:
缩放项 用于避免维度较大时点积绝对值过大,从而让 softmax 过早变得极端。各头结果仍是 [B, h, L, d_k],随后转回 [B, L, h, d_k] 并合并为 [B, L, d_model]。

| 阶段 | 张量形状 | 关键动作 |
|---|---|---|
| 输入与线性投影 | [B, L, d_model] |
生成 Q、K、V |
| 拆分注意力头 | [B, h, L, d_k] |
将特征维切分给多个头 |
| 每头注意力结果 | [B, h, L, d_k] |
在各头内部计算权重和加权和 |
| 合并所有头 | [B, L, d_model] |
拼接后做输出投影 |
可运行示例:检查输出形状
下面使用 torch.nn.MultiheadAttention 创建两个注意力头。average_attn_weights=False 会保留每个头各自的注意力权重,而不是先对头求平均。
python
import torch
from torch import nn
def main() -> None:
torch.manual_seed(7)
batch_size = 2
seq_len = 4
embed_dim = 8
num_heads = 2
x = torch.randn(batch_size, seq_len, embed_dim)
attention = nn.MultiheadAttention(
embed_dim=embed_dim,
num_heads=num_heads,
batch_first=True,
)
# 自注意力中,查询、键和值都来自同一个输入。
output, weights = attention(
query=x,
key=x,
value=x,
need_weights=True,
average_attn_weights=False,
)
print("input:", tuple(x.shape))
print("output:", tuple(output.shape))
print("weights:", tuple(weights.shape))
if __name__ == "__main__":
main()预期输出:
text
input: (2, 4, 8)
output: (2, 4, 8)
weights: (2, 2, 4, 4)权重形状中的第二个维度是头数,最后两个维度分别表示查询位置和键位置。也就是说,每个样本、每个注意力头都会得到一张 4 × 4 的关系矩阵。具体权重数值受随机初始化影响,但形状不会变化。
常见错误
embed_dim不能被num_heads整除时,无法把特征平均拆给各个头。- 合并前忘记交换维度,可能让序列维和头维交错,最终得到形状正确但语义错误的结果。
- 把多头理解成复制同一组注意力计算。实际上每个头拥有独立的投影参数,学习到的关系可以不同。
本课总结
- 多头注意力通过多组独立投影,在多个子空间中并行学习序列关系。
- 关键形状变化是
[B,L,d_model] → [B,h,L,d_k] → [B,L,d_model]。 - 每个头都会产生自己的
[L,L]注意力矩阵,合并后输出维度与输入保持一致。
下一课预告
下一课将为注意力加入顺序信息,并分别构造填充掩码和因果掩码,解决变长序列与“只能看过去”的约束。
按自己的节奏,确认真正理解。