高等数学 / 系统课时
稳定计算Softmax
稳定计算Softmax
本课解决 Softmax 在大数输入下出现溢出、NaN 的问题。你将从指数函数的数值范围出发,推导“减去最大值”为什么不改变结果,并实现可直接复用的稳定版本。
学习目标
- 识别直接计算 Softmax 时的上溢与下溢风险
- 说明减去最大值保持概率不变的数学依据
- 编写并验证数值稳定的 Softmax 实现
直接计算为什么会溢出
对向量 ,Softmax 的第 个输出为:
问题不在公式本身,而在浮点数能表示的范围有限。输入很大时,Python 的 math.exp 可能抛出异常,其他数值库也可能返回无穷大,随后出现 inf / inf 和 NaN。输入全是大负数时,未平移的指数和可能下溢为零。
例如,math.exp(1000.0) 已超出常见双精度浮点数的可表示范围。神经网络中的 logits 没有概率那样的上界,因此直接套用公式并不安全。
减去最大值为何有效
Softmax 对所有输入同时平移具有不变性。设常数为 :
因此可以选择 。平移后最大的输入变为 0,其指数值为 1,其余指数值位于 0 到 1 之间,从源头避免正向溢出。某些很小的归一化概率仍可能下溢为零。若需要其对数或训练损失,应直接在平移后计算对数概率,避免再对零取对数。
实现稳定版本
下面的完整示例同时展示直接计算失败和稳定计算成功。实现先寻找最大值,再完成平移、指数运算与归一化。
import math
from typing import Sequence
def softmax_stable(logits: Sequence[float]) -> list[float]:
if len(logits) == 0:
raise ValueError("logits 不能为空")
# 非有限值会让平移操作产生未定义结果,应尽早拒绝。
if not all(math.isfinite(value) for value in logits):
raise ValueError("logits 必须全部是有限数值")
# 减去最大值,把所有指数函数的输入限制在非正区间。
max_logit = max(logits)
exp_values = [math.exp(value - max_logit) for value in logits]
denominator = math.fsum(exp_values)
return [value / denominator for value in exp_values]
def main() -> None:
logits = [1000.0, 1001.0, 1002.0]
try:
[math.exp(value) for value in logits]
except OverflowError:
print("直接计算: OverflowError")
probabilities = softmax_stable(logits)
print("稳定结果:", [round(value, 6) for value in probabilities])
print(f"概率和: {math.fsum(probabilities):.6f}")
rows = [logits, [-1000.0, -1000.0, -1000.0]]
distributions = [softmax_stable(row) for row in rows]
assert all(math.isclose(math.fsum(row), 1.0) for row in distributions)
assert distributions[1] == [1.0 / 3] * 3
if __name__ == "__main__":
main()预期输出:
直接计算: OverflowError
稳定结果: [0.090031, 0.244728, 0.665241]
概率和: 1.000000输出既保持了各项的相对大小,概率和也为 1。实际运行中,末尾小数可能因浮点舍入存在极微小差异,但不应出现 inf 或 NaN。
关键边界与工程用法
本示例只接受有限 logits。带掩码的模型有时用 -inf 标记禁用项。若一行至少还有一个有限值、没有 NaN 或正无穷,禁用项对应的指数为零。整行全被掩码时,普通 Softmax 没有可归一化的分母,必须由调用者明确空行行为。
训练分类模型时,通常应直接使用框架提供的交叉熵损失。成熟实现会把 Softmax 与对数运算合并为 log-sum-exp 形式,避免“先得到极小概率,再取对数”造成精度损失。只有在推理展示概率或实现底层算子时,才需要显式计算 Softmax。
还要注意计算维度:批量输入通常沿类别维归一化,而不是对整个张量求一个总和。维度选错不会报溢出,却会得到语义错误的概率。