机器学习与深度学习 / 系统课时

多头注意力

多头注意力

多头注意力把一次注意力计算拆成多组独立投影,让模型同时关注位置对应、局部搭配和长距离依赖。本课将从计算公式、张量形状和可运行代码三个角度,追踪输入如何变成各个注意力头并重新合并。

学习目标

  • 说明多头注意力比单头注意力多出的计算步骤。
  • 跟踪 Q、K、V 在拆头、计算和合并时的形状变化。
  • 使用 PyTorch 验证输出张量与每个注意力头的权重形状。

为什么要使用多个注意力头

单头注意力只在一组投影空间中比较序列元素。它可以学习重要关系,但所有关系都被压在同一组相似度分数里,表达容量有限。

多头注意力为每个头分别学习 WiQW_i^Q、WiKW_i^K 和 WiVW_i^V。不同头不需要被人工指定职责,却可能分别偏向相邻词、语法搭配、指代关系或跨位置依赖。最后再把各头结果拼接并做一次线性投影,使输出维度回到模型维度。

计算过程与形状变化

设批量大小为 BB,序列长度为 LL,模型维度为 dmodeld_{model},头数为 hh,并令每个头的维度 dk=dmodel/hd_k=d_{model}/h。因此,d_model 必须能被 h 整除。

输入 X 的形状是 [B, L, d_model]。经过三组线性层得到 Q、K、V 后,把最后一维拆成 h × d_k,再交换维度,变为 [B, h, L, d_k]。每个头独立计算:

Attention⁡(Qi,Ki,Vi)=softmax⁡(QiKiTdk)Vi\operatorname{Attention}(Q_i,K_i,V_i)=\operatorname{softmax}\left(\frac{Q_iK_i^T}{\sqrt{d_k}}\right)V_i

缩放项 dk\sqrt{d_k} 用于避免维度较大时点积绝对值过大,从而让 softmax 过早变得极端。各头结果仍是 [B, h, L, d_k],随后转回 [B, L, h, d_k] 并合并为 [B, L, d_model]。

多头注意力的拆头、并行计算与合并流程

阶段 张量形状 关键动作
输入与线性投影 [B, L, d_model] 生成 Q、K、V
拆分注意力头 [B, h, L, d_k] 将特征维切分给多个头
每头注意力结果 [B, h, L, d_k] 在各头内部计算权重和加权和
合并所有头 [B, L, d_model] 拼接后做输出投影

可运行示例:检查输出形状

下面使用 torch.nn.MultiheadAttention 创建两个注意力头。average_attn_weights=False 会保留每个头各自的注意力权重,而不是先对头求平均。

python
import torch
from torch import nn


def main() -> None:
    torch.manual_seed(7)

    batch_size = 2
    seq_len = 4
    embed_dim = 8
    num_heads = 2

    x = torch.randn(batch_size, seq_len, embed_dim)
    attention = nn.MultiheadAttention(
        embed_dim=embed_dim,
        num_heads=num_heads,
        batch_first=True,
    )

    # 自注意力中,查询、键和值都来自同一个输入。
    output, weights = attention(
        query=x,
        key=x,
        value=x,
        need_weights=True,
        average_attn_weights=False,
    )

    print("input:", tuple(x.shape))
    print("output:", tuple(output.shape))
    print("weights:", tuple(weights.shape))


if __name__ == "__main__":
    main()

预期输出:

text
input: (2, 4, 8)
output: (2, 4, 8)
weights: (2, 2, 4, 4)

权重形状中的第二个维度是头数,最后两个维度分别表示查询位置和键位置。也就是说,每个样本、每个注意力头都会得到一张 4 × 4 的关系矩阵。具体权重数值受随机初始化影响,但形状不会变化。

常见错误

  • embed_dim 不能被 num_heads 整除时,无法把特征平均拆给各个头。
  • 合并前忘记交换维度,可能让序列维和头维交错,最终得到形状正确但语义错误的结果。
  • 把多头理解成复制同一组注意力计算。实际上每个头拥有独立的投影参数,学习到的关系可以不同。

本课总结

  • 多头注意力通过多组独立投影,在多个子空间中并行学习序列关系。
  • 关键形状变化是 [B,L,d_model] → [B,h,L,d_k] → [B,L,d_model]。
  • 每个头都会产生自己的 [L,L] 注意力矩阵,合并后输出维度与输入保持一致。

下一课预告

下一课将为注意力加入顺序信息,并分别构造填充掩码和因果掩码,解决变长序列与“只能看过去”的约束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多头注意力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通