高等数学 / 系统课时

稳定计算Softmax

稳定计算Softmax

本课解决 Softmax 在大数输入下出现溢出、NaN 的问题。你将从指数函数的数值范围出发,推导“减去最大值”为什么不改变结果,并实现可直接复用的稳定版本。

学习目标

  • 识别直接计算 Softmax 时的上溢与下溢风险
  • 说明减去最大值保持概率不变的数学依据
  • 编写并验证数值稳定的 Softmax 实现

直接计算为什么会溢出

对向量 zz,Softmax 的第 ii 个输出为:

pi=ezi∑jezjp_i = \frac{e^{z_i}}{\sum_j e^{z_j}}

问题不在公式本身,而在浮点数能表示的范围有限。输入很大时,Python 的 math.exp 可能抛出异常,其他数值库也可能返回无穷大,随后出现 inf / inf 和 NaN。输入全是大负数时,未平移的指数和可能下溢为零。

例如,math.exp(1000.0) 已超出常见双精度浮点数的可表示范围。神经网络中的 logits 没有概率那样的上界,因此直接套用公式并不安全。

减去最大值为何有效

Softmax 对所有输入同时平移具有不变性。设常数为 cc:

ezi−c∑jezj−c=ezie−ce−c∑jezj=ezi∑jezj\frac{e^{z_i-c}}{\sum_j e^{z_j-c}} = \frac{e^{z_i}e^{-c}}{e^{-c}\sum_j e^{z_j}} = \frac{e^{z_i}}{\sum_j e^{z_j}}

因此可以选择 c=max⁡(z)c = \max(z)。平移后最大的输入变为 0,其指数值为 1,其余指数值位于 0 到 1 之间,从源头避免正向溢出。某些很小的归一化概率仍可能下溢为零。若需要其对数或训练损失,应直接在平移后计算对数概率,避免再对零取对数。

实现稳定版本

下面的完整示例同时展示直接计算失败和稳定计算成功。实现先寻找最大值,再完成平移、指数运算与归一化。

python
import math
from typing import Sequence

def softmax_stable(logits: Sequence[float]) -> list[float]:
    if len(logits) == 0:
        raise ValueError("logits 不能为空")
    # 非有限值会让平移操作产生未定义结果,应尽早拒绝。
    if not all(math.isfinite(value) for value in logits):
        raise ValueError("logits 必须全部是有限数值")

    # 减去最大值,把所有指数函数的输入限制在非正区间。
    max_logit = max(logits)
    exp_values = [math.exp(value - max_logit) for value in logits]
    denominator = math.fsum(exp_values)
    return [value / denominator for value in exp_values]

def main() -> None:
    logits = [1000.0, 1001.0, 1002.0]

    try:
        [math.exp(value) for value in logits]
    except OverflowError:
        print("直接计算: OverflowError")

    probabilities = softmax_stable(logits)
    print("稳定结果:", [round(value, 6) for value in probabilities])
    print(f"概率和: {math.fsum(probabilities):.6f}")

    rows = [logits, [-1000.0, -1000.0, -1000.0]]
    distributions = [softmax_stable(row) for row in rows]
    assert all(math.isclose(math.fsum(row), 1.0) for row in distributions)
    assert distributions[1] == [1.0 / 3] * 3

if __name__ == "__main__":
    main()

预期输出:

text
直接计算: OverflowError
稳定结果: [0.090031, 0.244728, 0.665241]
概率和: 1.000000

输出既保持了各项的相对大小,概率和也为 1。实际运行中,末尾小数可能因浮点舍入存在极微小差异,但不应出现 inf 或 NaN。

关键边界与工程用法

本示例只接受有限 logits。带掩码的模型有时用 -inf 标记禁用项。若一行至少还有一个有限值、没有 NaN 或正无穷,禁用项对应的指数为零。整行全被掩码时,普通 Softmax 没有可归一化的分母,必须由调用者明确空行行为。

训练分类模型时,通常应直接使用框架提供的交叉熵损失。成熟实现会把 Softmax 与对数运算合并为 log-sum-exp 形式,避免“先得到极小概率,再取对数”造成精度损失。只有在推理展示概率或实现底层算子时,才需要显式计算 Softmax。

还要注意计算维度:批量输入通常沿类别维归一化,而不是对整个张量求一个总和。维度选错不会报溢出,却会得到语义错误的概率。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

稳定计算Softmax

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通