大模型原理与训练 / 系统课时

用因果遮罩阻止偷看未来

用因果遮罩阻止偷看未来

这一节把自注意力改造成真正的自回归注意力:每个位置只能读取自己和左侧 token。你会实现下三角遮罩,并验证即使整段序列一次并行送入模型,未来位置的注意力权重仍严格为 0。

学习目标

  • 理解 Causal Mask 为什么必须阻断注意力矩阵的上三角区域
  • 实现可直接用于注意力 logits 的下三角布尔遮罩
  • 解释训练阶段并行计算与自回归约束为何并不冲突

遮罩应该作用在 Softmax 之前

长度为 TT 的序列会得到一个 T×TT\times T 注意力分数矩阵。第 ii 行表示位置 ii 发起查询,第 jj 列表示它准备读取位置 jj 的信息。因果语言模型要求当前位置不能依赖尚未出现的未来 token,因此所有 j>ij>i 的位置都必须被屏蔽。

缩放后的注意力分数通常写成:

S=QK⊤dkS=\frac{QK^\top}{\sqrt{d_k}}

因果遮罩 MM 在允许访问的位置取 0,在未来位置取 −∞-\infty,随后计算 Softmax⁡(S+M)\operatorname{Softmax}(S+M)。由于 e−∞=0e^{-\infty}=0,被屏蔽位置会得到严格为 0 的概率,同时每一行剩余概率仍归一化为 1。

因果遮罩从分数矩阵到注意力权重的过程

如果在 Softmax 之后才简单把未来概率乘成 0,剩余元素的和通常会小于 1,还需要再次归一化。直接在 logits 阶段屏蔽既符合数学定义,也与常见高性能注意力实现保持一致。

实现下三角 Causal Mask

下面把一个已经计算好的 4×44\times4 分数矩阵视为缩放后的注意力 logits。torch.tril 生成包含主对角线的下三角区域,再用 masked_fill 把其余位置改成负无穷。

python
import torch

torch.set_printoptions(precision=4, sci_mode=False)

scores = torch.tensor([
    [1.0, 2.0, 3.0, 4.0],
    [4.0, 3.0, 2.0, 1.0],
    [1.0, 0.0, 1.0, 0.0],
    [0.0, 1.0, 0.0, 1.0],
])

T = scores.size(-1)
# True 表示当前位置允许读取对应的 key。
mask = torch.tril(torch.ones(T, T, dtype=torch.bool))
masked_scores = scores.masked_fill(~mask, float("-inf"))
weights = torch.softmax(masked_scores, dim=-1)

print(mask.int())
print(weights)

预期输出:

text
tensor([[1, 0, 0, 0],
        [1, 1, 0, 0],
        [1, 1, 1, 0],
        [1, 1, 1, 1]], dtype=torch.int32)
tensor([[1.0000, 0.0000, 0.0000, 0.0000],
        [0.7311, 0.2689, 0.0000, 0.0000],
        [0.4223, 0.1554, 0.4223, 0.0000],
        [0.1345, 0.3655, 0.1345, 0.3655]])

检查结果时最重要的不是具体概率,而是所有主对角线上方的权重都为 0。第一个 token 只能关注自己,第二个 token 可以关注前两个位置,以此类推。

为什么训练仍然可以并行

因果约束限制的是信息依赖关系,不是要求 GPU 按 token 顺序逐个计算。训练时整段已知序列可以同时生成全部 QQ、KK、VV,一次矩阵乘法得到完整的 T×TT\times T 分数矩阵,再用同一个下三角遮罩同时删除所有非法连接。

因此,一个 batch 中所有训练位置都能并行计算损失,但第 ii 个位置的输出在数学上仍只依赖位置 00 到 ii。这也是 GPT 训练吞吐量远高于逐 token 推理的关键原因之一。

生成阶段则不同:下一个 token 本身尚未知,必须先生成它,才能把它加入上下文继续预测后续 token。Causal Mask 能阻止未来信息泄漏,却不能消除生成任务本身的顺序依赖。

实现时容易错的边界

在多头注意力中,分数张量通常形如 [B, H, T, T],二维遮罩需要能够广播到 batch 和 head 维度。主对角线必须保留,否则第一个位置会没有任何可访问元素,对整行负无穷执行 Softmax 会产生无效结果。

如果以后加入 KV Cache,查询长度可能不再等于缓存中的 key 长度,此时不能机械套用一个从零开始的方形 torch.tril;遮罩必须考虑当前查询在完整序列中的位置偏移。对 nanoGPT 的完整序列训练而言,包含主对角线的标准下三角遮罩就是正确起点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用因果遮罩阻止偷看未来

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通