机器学习与深度学习 / 系统课时

多头自注意力

多头自注意力

多头自注意力让同一序列中的每个位置并行观察多组关系,而不是只依赖一套注意力分布。本课将拆解多头计算流程,跟踪各阶段张量形状,并用一个可运行示例验证拆头与拼接。

学习目标

  • 理解多个注意力头并行建模不同关系的原因
  • 推导输入、分数、权重和输出的完整形状变化
  • 实现最小多头自注意力并验证各头结果

为什么要使用多个头

单头注意力只生成一张关系图,所有匹配模式都被压在同一组权重中。多头机制把特征维度划分为多个子空间,每个头独立计算注意力,因此一个头可以偏向局部邻近关系,另一个头可以关注远距离依赖或不同语义特征。

“自注意力”表示查询、键和值都来自同一个输入序列。标准实现会为每个头学习独立的线性投影,再将各头输出拼接,并通过输出投影重新混合信息。

多头自注意力拆分与拼接结构

张量如何拆头与还原

设输入形状为 [B,L,D][B,L,D],头数为 HH,则每个头的维度为 Dh=D/HD_h=D/H,所以 DD 必须能被 HH 整除。线性投影后的查询、键和值先重塑为 [B,L,H,Dh][B,L,H,D_h],再交换序列维和头维,得到 [B,H,L,Dh][B,H,L,D_h]。

阶段 形状 说明
输入 XX [B,L,D][B,L,D] 批次、序列长度、模型维度
拆头后的 Q,K,VQ,K,V [B,H,L,Dh][B,H,L,D_h] 每个头独立处理一个子空间
分数与权重 [B,H,L,L][B,H,L,L] 每个头都有一张序列关系矩阵
每头上下文 [B,H,L,Dh][B,H,L,D_h] 权重与值相乘后的结果
拼接结果 [B,L,D][B,L,D] 所有头沿特征维合并

转置后通常需要调用 contiguous() 再执行 view(),因为转置只改变张量的步长信息,不一定形成连续内存。忽略这一点可能触发运行错误,或迫使代码改用能够处理非连续张量的 reshape()。

多头计算公式

第 ii 个头的计算为:

head⁡i=Attention⁡(XWiQ,XWiK,XWiV)\operatorname{head}_i=\operatorname{Attention}(XW_i^Q,XW_i^K,XW_i^V)

所有头完成后再拼接并映射:

MultiHead⁡(X)=Concat⁡(head⁡1,…,head⁡H)WO\operatorname{MultiHead}(X)=\operatorname{Concat}(\operatorname{head}_1,\ldots,\operatorname{head}_H)W^O

多个头并不是重复计算同一结果。独立的投影矩阵 WiQW_i^Q、WiKW_i^K 和 WiVW_i^V 会把输入映射到不同子空间,使各头能够形成不同的注意力分布。

用代码验证形状与权重

下面的最小示例省略可学习线性投影,只保留拆头、注意力计算和拼接,以便清楚观察形状。输入模型维度为 4,使用 2 个头,因此每个头处理 2 维特征。

python
import math
import torch

def multi_head_self_attention(x, num_heads):
    batch_size, seq_len, d_model = x.shape
    if d_model % num_heads != 0:
        raise ValueError("d_model 必须能被 num_heads 整除")

    head_dim = d_model // num_heads

    # 为突出形状变化,本例省略可学习的 Q/K/V 线性投影
    q = x.view(batch_size, seq_len, num_heads, head_dim).transpose(1, 2)
    k = q
    v = q

    scores = q @ k.transpose(-2, -1) / math.sqrt(head_dim)
    weights = torch.softmax(scores, dim=-1)
    context = weights @ v

    # 将头维移回序列维之后,再拼回模型维度
    output = context.transpose(1, 2).contiguous().view(
        batch_size, seq_len, d_model
    )
    return output, weights

def main():
    torch.set_printoptions(precision=4, sci_mode=False)

    x = torch.tensor([[
        [1.0, 0.0, 1.0, 0.0],
        [0.0, 1.0, 0.0, 1.0],
        [1.0, 1.0, 0.0, 0.0],
    ]])

    output, weights = multi_head_self_attention(x, num_heads=2)

    print("output shape:", tuple(output.shape))
    print("weights shape:", tuple(weights.shape))
    print("head 0 weights:")
    print(weights[0, 0])
    print("head 1 weights:")
    print(weights[0, 1])

if __name__ == "__main__":
    main()

预期输出:

text
output shape: (1, 3, 4)
weights shape: (1, 2, 3, 3)
head 0 weights:
tensor([[0.4011, 0.1978, 0.4011],
        [0.1978, 0.4011, 0.4011],
        [0.2483, 0.2483, 0.5035]])
head 1 weights:
tensor([[0.5035, 0.2483, 0.2483],
        [0.2483, 0.5035, 0.2483],
        [0.3333, 0.3333, 0.3333]])

两个头得到不同的权重矩阵,说明它们在各自的二维子空间中观察到了不同关系。拼接后输出重新回到 [1,3,4][1,3,4],因此多头计算不会改变序列长度或模型总维度。

关键边界与使用判断

头数增加会缩小每个头的维度,但计算关系矩阵的主要开销仍与序列长度平方相关,权重张量大小为 B×H×L×LB\times H\times L\times L。长序列首先面临的通常是显存压力,而不是拆头本身。

调试多头自注意力时,应依次检查模型维度是否能整除头数、掩码能否广播到 [B,H,L,L][B,H,L,L]、转置后是否正确拼接,以及最终输出是否恢复为 [B,L,D][B,L,D]。只要其中一个维度放错,计算可能仍能广播运行,却表达了错误的关系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多头自注意力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通