机器学习与深度学习 / 系统课时
多头自注意力
多头自注意力
多头自注意力让同一序列中的每个位置并行观察多组关系,而不是只依赖一套注意力分布。本课将拆解多头计算流程,跟踪各阶段张量形状,并用一个可运行示例验证拆头与拼接。
学习目标
- 理解多个注意力头并行建模不同关系的原因
- 推导输入、分数、权重和输出的完整形状变化
- 实现最小多头自注意力并验证各头结果
为什么要使用多个头
单头注意力只生成一张关系图,所有匹配模式都被压在同一组权重中。多头机制把特征维度划分为多个子空间,每个头独立计算注意力,因此一个头可以偏向局部邻近关系,另一个头可以关注远距离依赖或不同语义特征。
“自注意力”表示查询、键和值都来自同一个输入序列。标准实现会为每个头学习独立的线性投影,再将各头输出拼接,并通过输出投影重新混合信息。

张量如何拆头与还原
设输入形状为 ,头数为 ,则每个头的维度为 ,所以 必须能被 整除。线性投影后的查询、键和值先重塑为 ,再交换序列维和头维,得到 。
| 阶段 | 形状 | 说明 |
|---|---|---|
| 输入 | 批次、序列长度、模型维度 | |
| 拆头后的 | 每个头独立处理一个子空间 | |
| 分数与权重 | 每个头都有一张序列关系矩阵 | |
| 每头上下文 | 权重与值相乘后的结果 | |
| 拼接结果 | 所有头沿特征维合并 |
转置后通常需要调用 contiguous() 再执行 view(),因为转置只改变张量的步长信息,不一定形成连续内存。忽略这一点可能触发运行错误,或迫使代码改用能够处理非连续张量的 reshape()。
多头计算公式
第 个头的计算为:
所有头完成后再拼接并映射:
多个头并不是重复计算同一结果。独立的投影矩阵 、 和 会把输入映射到不同子空间,使各头能够形成不同的注意力分布。
用代码验证形状与权重
下面的最小示例省略可学习线性投影,只保留拆头、注意力计算和拼接,以便清楚观察形状。输入模型维度为 4,使用 2 个头,因此每个头处理 2 维特征。
import math
import torch
def multi_head_self_attention(x, num_heads):
batch_size, seq_len, d_model = x.shape
if d_model % num_heads != 0:
raise ValueError("d_model 必须能被 num_heads 整除")
head_dim = d_model // num_heads
# 为突出形状变化,本例省略可学习的 Q/K/V 线性投影
q = x.view(batch_size, seq_len, num_heads, head_dim).transpose(1, 2)
k = q
v = q
scores = q @ k.transpose(-2, -1) / math.sqrt(head_dim)
weights = torch.softmax(scores, dim=-1)
context = weights @ v
# 将头维移回序列维之后,再拼回模型维度
output = context.transpose(1, 2).contiguous().view(
batch_size, seq_len, d_model
)
return output, weights
def main():
torch.set_printoptions(precision=4, sci_mode=False)
x = torch.tensor([[
[1.0, 0.0, 1.0, 0.0],
[0.0, 1.0, 0.0, 1.0],
[1.0, 1.0, 0.0, 0.0],
]])
output, weights = multi_head_self_attention(x, num_heads=2)
print("output shape:", tuple(output.shape))
print("weights shape:", tuple(weights.shape))
print("head 0 weights:")
print(weights[0, 0])
print("head 1 weights:")
print(weights[0, 1])
if __name__ == "__main__":
main()预期输出:
output shape: (1, 3, 4)
weights shape: (1, 2, 3, 3)
head 0 weights:
tensor([[0.4011, 0.1978, 0.4011],
[0.1978, 0.4011, 0.4011],
[0.2483, 0.2483, 0.5035]])
head 1 weights:
tensor([[0.5035, 0.2483, 0.2483],
[0.2483, 0.5035, 0.2483],
[0.3333, 0.3333, 0.3333]])两个头得到不同的权重矩阵,说明它们在各自的二维子空间中观察到了不同关系。拼接后输出重新回到 ,因此多头计算不会改变序列长度或模型总维度。
关键边界与使用判断
头数增加会缩小每个头的维度,但计算关系矩阵的主要开销仍与序列长度平方相关,权重张量大小为 。长序列首先面临的通常是显存压力,而不是拆头本身。
调试多头自注意力时,应依次检查模型维度是否能整除头数、掩码能否广播到 、转置后是否正确拼接,以及最终输出是否恢复为 。只要其中一个维度放错,计算可能仍能广播运行,却表达了错误的关系。