大模型原理与训练 / 系统课时
处理缩放与 Softmax 数值行为
处理缩放与 Softmax 数值行为
这一节处理注意力里一个看似很小却直接影响训练稳定性的细节:点积维度越大,logit 波动越明显,Softmax 越容易饱和。你会推导 的来源,并用代码观察尺度变化如何改变注意力分布。
学习目标
- 解释点积方差为何会随 key/query 维度增长
- 理解 缩放对 Softmax 分布与梯度的作用
- 区分注意力缩放与 Softmax 数值稳定处理这两个问题
缩放来自点积方差
设 query 和 key 的各维分量近似独立、均值为 0、方差为 1。它们的点积是 个乘积之和,因此在这一简化假设下,点积方差会随维度近似线性增加:
如果直接把 送入 Softmax, 越大,典型 logit 的绝对尺度和元素间差距就越容易变大。Softmax 会把这些差距指数放大,使分布过早接近 one-hot,非最大元素对应的梯度也会变得很小。
因此 Scaled Dot-Product Attention 使用:
除以 不是为了让所有分数都变成很小的数,而是让不同特征维度下的典型 logit 尺度保持在相近范围,使 Softmax 不会仅因为维度增大而系统性变尖。
Softmax 会放大相对差距
对于 logits ,Softmax 根据指数值之间的相对比例分配概率。把全部 logits 同时乘以大于 1 的常数,会让最大值更占优势;乘以小于 1 的常数,则会让概率趋向均匀。这可以理解为在改变 Softmax 的有效温度。
注意力中的缩放因子正是在控制这种温度效应。假设合理尺度下三个分数是 [2, 1, 0],当 时,缺少 缩放相当于把它们扩大 8 倍,Softmax 几乎只会选择第一个位置。
用代码观察尺度变化
下面固定分数之间的相对关系,只改变送入 Softmax 的整体尺度。这样可以单独观察缩放,而不让随机初始化干扰结果。
import math
import torch
torch.set_printoptions(precision=4, sci_mode=False)
d_k = 64
raw_dot_products = torch.tensor([16.0, 8.0, 0.0])
scaled = raw_dot_products / math.sqrt(d_k)
cases = {
"unscaled": raw_dot_products,
"scaled": scaled,
"too_large": scaled * 4,
"too_small": scaled / 4,
}
for name, logits in cases.items():
probs = torch.softmax(logits, dim=-1)
print(name, probs)预期输出:
unscaled tensor([0.9997, 0.0003, 0.0000])
scaled tensor([0.6652, 0.2447, 0.0900])
too_large tensor([0.9817, 0.0180, 0.0003])
too_small tensor([0.4192, 0.3265, 0.2543])unscaled 几乎退化成硬选择;too_large 也明显过尖;too_small 则过于平均,削弱了模型区分重要位置的能力。合理缩放后的分布仍有明确偏好,同时保留了其他位置的有效概率和梯度。
数值稳定与缩放不是一回事
稳定版 Softmax 通常会先从所有 logits 中减去最大值,再计算指数。这个变换不会改变最终概率,却可以避免对很大的正数直接执行指数运算而溢出。PyTorch 的 Softmax 已包含相应的稳定实现。
但减去最大值无法解决分布过尖的问题。例如 [16, 8, 0] 减去最大值后成为 [0, -8, -16],虽然指数计算安全了,得到的概率依然几乎是 [1, 0, 0]。因此数值稳定技巧不能替代 缩放。
实现因果注意力时,清晰的计算顺序是先计算 ,再除以 ,随后应用 Causal Mask,最后执行 Softmax。尤其当遮罩使用有限的大负数而不是负无穷时,不要在遮罩之后再整体缩放,否则可能把屏蔽值的绝对值缩小,削弱原本的遮罩效果。