大模型原理与训练 / 系统课时

处理缩放与 Softmax 数值行为

处理缩放与 Softmax 数值行为

这一节处理注意力里一个看似很小却直接影响训练稳定性的细节:点积维度越大,logit 波动越明显,Softmax 越容易饱和。你会推导 1/dk1/\sqrt{d_k} 的来源,并用代码观察尺度变化如何改变注意力分布。

学习目标

  • 解释点积方差为何会随 key/query 维度增长
  • 理解 1/dk1/\sqrt{d_k} 缩放对 Softmax 分布与梯度的作用
  • 区分注意力缩放与 Softmax 数值稳定处理这两个问题

缩放来自点积方差

设 query 和 key 的各维分量近似独立、均值为 0、方差为 1。它们的点积是 dkd_k 个乘积之和,因此在这一简化假设下,点积方差会随维度近似线性增加:

Var⁡(q⋅k)≈dk,Std⁡(q⋅k)≈dk\operatorname{Var}(q\cdot k)\approx d_k,\qquad \operatorname{Std}(q\cdot k)\approx \sqrt{d_k}

如果直接把 QK⊤QK^\top 送入 Softmax,dkd_k 越大,典型 logit 的绝对尺度和元素间差距就越容易变大。Softmax 会把这些差距指数放大,使分布过早接近 one-hot,非最大元素对应的梯度也会变得很小。

因此 Scaled Dot-Product Attention 使用:

Attention⁡(Q,K,V)=Softmax⁡(QK⊤dk+M)V\operatorname{Attention}(Q,K,V)=\operatorname{Softmax}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V

除以 dk\sqrt{d_k} 不是为了让所有分数都变成很小的数,而是让不同特征维度下的典型 logit 尺度保持在相近范围,使 Softmax 不会仅因为维度增大而系统性变尖。

Softmax 会放大相对差距

对于 logits zz,Softmax 根据指数值之间的相对比例分配概率。把全部 logits 同时乘以大于 1 的常数,会让最大值更占优势;乘以小于 1 的常数,则会让概率趋向均匀。这可以理解为在改变 Softmax 的有效温度。

注意力中的缩放因子正是在控制这种温度效应。假设合理尺度下三个分数是 [2, 1, 0],当 dk=64d_k=64 时,缺少 1/641/\sqrt{64} 缩放相当于把它们扩大 8 倍,Softmax 几乎只会选择第一个位置。

用代码观察尺度变化

下面固定分数之间的相对关系,只改变送入 Softmax 的整体尺度。这样可以单独观察缩放,而不让随机初始化干扰结果。

python
import math
import torch

torch.set_printoptions(precision=4, sci_mode=False)

d_k = 64
raw_dot_products = torch.tensor([16.0, 8.0, 0.0])
scaled = raw_dot_products / math.sqrt(d_k)

cases = {
    "unscaled": raw_dot_products,
    "scaled": scaled,
    "too_large": scaled * 4,
    "too_small": scaled / 4,
}

for name, logits in cases.items():
    probs = torch.softmax(logits, dim=-1)
    print(name, probs)

预期输出:

text
unscaled tensor([0.9997, 0.0003, 0.0000])
scaled tensor([0.6652, 0.2447, 0.0900])
too_large tensor([0.9817, 0.0180, 0.0003])
too_small tensor([0.4192, 0.3265, 0.2543])

unscaled 几乎退化成硬选择;too_large 也明显过尖;too_small 则过于平均,削弱了模型区分重要位置的能力。合理缩放后的分布仍有明确偏好,同时保留了其他位置的有效概率和梯度。

数值稳定与缩放不是一回事

稳定版 Softmax 通常会先从所有 logits 中减去最大值,再计算指数。这个变换不会改变最终概率,却可以避免对很大的正数直接执行指数运算而溢出。PyTorch 的 Softmax 已包含相应的稳定实现。

但减去最大值无法解决分布过尖的问题。例如 [16, 8, 0] 减去最大值后成为 [0, -8, -16],虽然指数计算安全了,得到的概率依然几乎是 [1, 0, 0]。因此数值稳定技巧不能替代 1/dk1/\sqrt{d_k} 缩放。

实现因果注意力时,清晰的计算顺序是先计算 QK⊤QK^\top,再除以 dk\sqrt{d_k},随后应用 Causal Mask,最后执行 Softmax。尤其当遮罩使用有限的大负数而不是负无穷时,不要在遮罩之后再整体缩放,否则可能把屏蔽值的绝对值缩小,削弱原本的遮罩效果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理缩放与 Softmax 数值行为

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通