机器学习与深度学习 / 系统课时

注意力机制

注意力机制

注意力机制解决“当前查询应该从哪些信息中取多少内容”的问题。本课将从查询、键、值出发,完成缩放点积注意力的计算,并用掩码排除填充位置,最终得到可验证的上下文表示。

学习目标

  • 说清查询、键、值在注意力计算中的职责
  • 掌握注意力分数、权重和加权输出的形状变化
  • 理解填充掩码与因果掩码为什么在 Softmax 前生效

查询、键和值如何协作

查询 Query 表示“正在寻找什么”,键 Key 表示“每条信息可用什么特征被匹配”,值 Value 则保存真正需要汇总的内容。查询与键先计算相似度,得到每个值应被关注的程度,再按权重对值做加权求和。

在序列任务中,一个查询通常对应当前位置,一个键和值对应一个可被读取的位置。查询长度可以与键值长度不同,因此注意力既能用于同一序列内部的信息交互,也能用于两个序列之间的信息检索。

查询键值注意力计算流程

缩放点积注意力

缩放点积注意力可写为:

Attention⁡(Q,K,V)=softmax⁡(QKTdk+M)V\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}+M\right)V

其中,QKTQK^T 生成查询与所有键之间的分数矩阵,除以 dk\sqrt{d_k} 用于避免维度较大时点积数值过大,使 Softmax 不至于过早饱和。MM 是可选掩码,被禁止的位置通常加入负无穷,经过 Softmax 后权重变为 0。

张量 典型形状 含义
QQ [B,Lq,Dk][B,L_q,D_k] 每个查询的位置表示
KK [B,Lk,Dk][B,L_k,D_k] 可匹配位置的键
VV [B,Lk,Dv][B,L_k,D_v] 被加权汇总的内容
权重 [B,Lq,Lk][B,L_q,L_k] 每个查询对每个键的关注比例
输出 [B,Lq,Dv][B,L_q,D_v] 汇总后的上下文表示

用 PyTorch 完成一次计算

下面的示例使用两个查询、三个键和值。第三个键模拟填充位置,通过布尔掩码被完全排除。示例不依赖随机参数,可直接运行并核对权重。

python
import math
import torch

def scaled_dot_product_attention(query, key, value, mask=None):
    scores = query @ key.transpose(-2, -1) / math.sqrt(query.size(-1))
    if mask is not None:
        # 被屏蔽位置在 Softmax 前设为负无穷,最终权重变为 0
        scores = scores.masked_fill(mask, float("-inf"))

    weights = torch.softmax(scores, dim=-1)
    output = weights @ value
    return weights, output

def main():
    torch.set_printoptions(precision=4, sci_mode=False)

    query = torch.tensor([[[1.0, 0.0], [0.0, 1.0]]])
    key = torch.tensor([[[1.0, 0.0], [1.0, 1.0], [0.0, 1.0]]])
    value = torch.tensor([[[10.0, 0.0], [0.0, 10.0], [5.0, 5.0]]])

    # 形状 [1, 1, 3] 会广播到两个查询
    mask = torch.tensor([[[False, False, True]]])
    weights, output = scaled_dot_product_attention(query, key, value, mask)

    print("weights =")
    print(weights)
    print("output =")
    print(output)

if __name__ == "__main__":
    main()

预期输出:

text
weights =
tensor([[[0.5000, 0.5000, 0.0000],
         [0.3302, 0.6698, 0.0000]]])
output =
tensor([[[5.0000, 5.0000],
         [3.3024, 6.6976]]])

每一行权重之和为 1。被屏蔽的第三个位置权重恒为 0,因此它对应的值不会参与输出;第一个查询对前两个键得分相同,所以输出正好是两个值的平均结果。

掩码的两种常见用途

填充掩码用于忽略批处理中补齐长度的占位符,通常对所有查询屏蔽相同的键位置。因果掩码用于自回归生成,使位置 tt 只能读取当前位置及之前的信息,防止训练时提前看到未来 token。

掩码必须在 Softmax 前应用。若先计算 Softmax 再把某些权重改为 0,剩余权重之和会小于 1;除非再次归一化,否则输出不再是规范的加权平均。

检查注意力实现时,优先确认掩码形状能否广播到分数矩阵,并验证被屏蔽位置的权重是否严格为 0。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注意力机制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通