大模型原理与训练 / 系统课时

从单头扩展到多头注意力

从单头扩展到多头注意力

单头注意力只能用一张注意力分布决定“当前词该看谁”。多头注意力把表示空间切成多个较小子空间,每个头独立计算注意力,再把结果拼回统一表示,使同一位置可以并行建立多种关系,而不是被一张概率图限制。

学习目标

  • 说清多头注意力的投影、切分、并行计算与拼接流程
  • 用张量形状追踪每个头如何处理不同表示子空间
  • 理解多头为何比单个更宽的注意力拥有更多关系建模方式

多头不是把一张注意力矩阵切几块

输入隐藏状态记为 XX,形状是 (B,T,dmodel)(B,T,d_{model})。标准多头注意力先通过三组线性投影得到 QQ、KK、VV,再把最后一维重排为 hh 个头。若每个头维度为 dhd_h,通常满足 dmodel=h⋅dhd_{model}=h\cdot d_h。

真正被“切分”的主要是特征维度,而不是序列位置。每个头仍能看到全部 TT 个位置,只是使用不同的投影参数和较小的特征子空间,因此会得到自己独立的注意力分数矩阵。

多头注意力从投影到拼接的数据流

用形状追踪切分与拼接

设批量大小 B=2B=2、序列长度 T=4T=4、模型维度 dmodel=8d_{model}=8,使用 h=2h=2 个头,则每个头的维度 dh=4d_h=4。形状变化可以按下面的顺序理解:

阶段 张量形状 含义
输入 XX (2,4,8)(2,4,8) 每个词元有 8 维表示
投影后的 Q,K,VQ,K,V 各为 (2,4,8)(2,4,8) 为注意力生成三类表示
切成 2 个头 各为 (2,2,4,4)(2,2,4,4) 头维被单独拿出来
每头分数矩阵 (2,2,4,4)(2,2,4,4) 每个头都有自己的 T×TT\times T 关系图
拼接各头输出 (2,4,8)(2,4,8) 恢复模型维度
输出投影后 (2,4,8)(2,4,8) 混合各头信息供后续层使用

每个头内部仍使用缩放点积注意力:先计算 QiKiT/dhQ_iK_i^T / \sqrt{d_h},再经过 Softmax 得到权重,并对 ViV_i 加权求和。自回归模型中,各头通常共享同一种因果可见范围,但因为 QiQ_i、KiK_i 的投影不同,最终注意力图仍可能完全不同。

为什么多个头能学习不同关系

如果只有一个头,某个 Query 对所有 Key 只能产生一组归一化概率。它可以同时给多个位置分配权重,但这些关系都被压在同一张注意力图里。

多头机制则让每个头拥有独立的投影和 Softmax。一个头可能更偏向局部相邻词,另一个头可能跨越较长距离,还有的头会围绕特定语法或指代模式形成稳定关注。这里的“可能”很重要:模型并没有预先规定某个头必须负责语法、实体或位置关系,这些分工是在训练中涌现出来的,而且不同头之间也可能存在冗余。

多头的价值因此不是简单增加“看得更远”的能力,而是提供多套彼此独立的匹配空间。它让同一个词元可以同时依据不同相似性标准,从序列中收集多种证据。

参数量与计算并不会按头数直接翻倍

在标准设计里,WQW_Q、WKW_K、WVW_V 的总体输出维度仍然是 dmodeld_{model},只是之后被重排为多个头。因此固定 dmodeld_{model} 时,把 1 个头改成 8 个头,并不意味着 Q、K、V 投影参数变成 8 倍。

变化主要发生在计算组织方式:每个头的特征维度更小,但会生成独立的注意力矩阵。总注意力计算量的主阶仍与 T2dmodelT^2d_{model} 同级,所以增加头数本身通常不会改变注意力关于序列长度的平方复杂度。

判断自己是否真正理解多头

可以用一句话检验:每个头都看完整序列,但在不同投影子空间里独立决定该关注谁,最后再把各头结果合并。 如果把多头理解成“把句子切成几段分别处理”,或“把同一张注意力矩阵复制多份”,就抓错了核心。

从结构上看,多头注意力的完整链路就是投影、按头重排、并行注意力、拼接、输出投影。理解这条信息流后,再阅读任何 Transformer 实现中的 num_heads、head_dim、reshape、transpose 与 concat 操作,都会更容易对上它们各自承担的角色。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从单头扩展到多头注意力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通