大模型原理与训练 / 系统课时

因果注意力掩码

因果注意力掩码

因果注意力掩码为解码器划定可见范围:序列中每个位置只能关注自己和左侧词元,不能读取右侧未来内容。掌握它后,就能理解 Transformer 为什么能并行训练,却仍保持自回归生成规则。

学习目标

  • 读懂因果掩码矩阵中允许与禁止关注的位置
  • 理解掩码如何在 Softmax 前阻断未来词元
  • 区分因果掩码与填充掩码的职责

为什么必须屏蔽未来

训练时,完整句子会一次性送入模型。若不做限制,位置 tt 在预测 xt+1x_{t+1} 时可以直接看到右侧真实词元,相当于提前读取答案。模型即使得到很低的训练损失,也无法在真实生成阶段复现这种条件。

因果掩码通过固定可见范围解决这个问题。第 1 个位置只能看第 1 个位置,第 2 个位置可以看前两个位置,第 3 个位置可以看前三个位置,依此类推。

因果注意力掩码矩阵示意图

上三角掩码怎样工作

设注意力分数矩阵为 S=QKT/dkS=QK^T/\sqrt{d_k},因果掩码矩阵为 MM。允许关注的位置取 0,未来位置取一个极小值,理论上记作 −∞-\infty:

A=Softmax⁡(S+M)A=\operatorname{Softmax}(S+M)

当极小值进入 Softmax 后,对应位置的概率会变成 0,因此这些未来词元不会参与加权求和。常见矩阵形态如下,其中 0 表示可见,−∞-\infty 表示屏蔽:

Query 位置 Key 1 Key 2 Key 3 Key 4
1 0 −∞-\infty −∞-\infty −∞-\infty
2 0 0 −∞-\infty −∞-\infty
3 0 0 0 −∞-\infty
4 0 0 0 0

为什么还能并行训练

因果掩码限制的是信息流向,不是计算顺序。训练时,所有位置的查询、键和值仍可一次性计算,只是在注意力分数矩阵上把右上三角区域屏蔽掉。

这样,位置 1 到位置 nn 的下一词元预测可以并行得到,同时每个位置都严格只依赖自己的前缀。并行训练因此不会破坏自回归约束,而推理阶段仍需等待前一个词元真正生成后再继续。

与填充掩码的区别

因果掩码解决“不能看未来”的问题,通常用于自回归解码器。填充掩码解决“不能把补齐位置当成真实内容”的问题,常用于长度不一致的批量序列。

两种掩码可以同时存在。例如,一个批次既包含补齐词元,又进行自回归训练时,最终可见范围应同时满足两个条件:不能看未来,也不能关注 PAD。实现中通常把两种掩码合并后再加到注意力分数上。

常见理解错误

第一,掩码不是删除未来词元,而是让它们在当前查询位置上的注意力权重变为 0。第二,上三角或下三角的叫法与矩阵坐标约定有关,判断时应直接检查“第 ii 行是否只能访问第 1 到 ii 列”。

第三,因果掩码只约束注意力可见性,不负责决定生成哪个词元。真正的词元选择仍由输出概率分布和解码策略完成。

本课总结

  • 因果掩码保证每个位置只能读取自己及之前的词元
  • 它在 Softmax 前把未来位置设为极小值,使对应注意力权重归零
  • 因果掩码与填充掩码职责不同,但可在同一次注意力计算中合并

下一课预告

下一课将进入解码器结构,观察掩码自注意力、交叉注意力和前馈网络如何配合完成序列生成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

因果注意力掩码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通