高等数学 / 系统课时
LogSumExp技巧
LogSumExp技巧
本课解决 在大正数下的上溢和在大负数下的下溢。你将推导提取最大值的稳定公式,实现可运行的 LogSumExp,并理解它与 Softmax、对数概率计算之间的关系。
学习目标
- 说明直接计算对数指数和为什么容易上溢或下溢
- 推导并实现提取最大值后的稳定 LogSumExp
- 识别空输入、无穷值和 Softmax 计算中的关键边界
问题定义
LogSumExp 将一组数先取指数、求和,再取对数:
它常见于 Softmax、交叉熵、隐变量模型和对数概率合并。直接实现看似简单,但只要某个 很大, 就可能先上溢;当所有输入都很小时,指数值又可能全部下溢为零,最终出现 log(0)。
提取最大值改写
令 。因为 ,原式可改写为:
改写后,每个 ,最大的指数项正好是 。这样既不会产生巨大的正指数,也能让接近最大值的项保留有效精度。这个变换只改变计算路径,不改变数学结果。
实现并验证
下面用三个接近 1000 的输入比较直接算法与稳定算法。直接算法会在计算指数时上溢,稳定算法先平移输入后得到有限结果。
import math
def logsumexp(values: list[float]) -> float:
if not values or any(math.isnan(x) for x in values):
raise ValueError("values must be nonempty and contain no NaN")
m = max(values)
# 全部为负无穷或包含正无穷时,极值本身就是正确边界结果
if math.isinf(m):
return m
# 单独保留一个最大项 exp(0)=1,以 log1p 计算小尾项的影响
max_index = values.index(m)
tail = math.fsum(math.exp(x - m) for i, x in enumerate(values) if i != max_index)
return m + math.log1p(tail)
def log_softmax(values: list[float]) -> list[float]:
if not values or not all(math.isfinite(x) for x in values):
raise ValueError("logits must be nonempty and finite")
m = max(values)
shifted = [x - m for x in values]
normalizer = logsumexp(shifted)
return [x - normalizer for x in shifted]
values = [1000.0, 1001.0, 999.0]
try:
naive = math.log(sum(math.exp(x) for x in values))
except OverflowError:
naive = "OverflowError"
stable = logsumexp(values)
print(f"naive={naive}")
print(f"stable={stable:.6f}")
print(f"shifted_max={max(x - max(values) for x in values):.1f}")
large_tie = [1e16, 1e16]
print(f"log_softmax(tie)={log_softmax(large_tie)[0]:.6f}")
print(f"logsumexp([0, -40])={logsumexp([0.0, -40.0]):.3e}")预期输出
naive=OverflowError
stable=1001.407606
shifted_max=0.0
log_softmax(tie)=-0.693147
logsumexp([0, -40])=4.248e-18shifted_max 为零,说明平移后的所有指数输入都不大于零。稳定结果仍大于最大输入 1001,因为其余两项也对指数和产生了正贡献。
与 Softmax 的关系
Softmax 可以写成:
使用稳定 LogSumExp 后,不必先计算可能溢出的 。工程框架通常还提供 log_softmax 或“交叉熵加 logits”的组合接口,它们会把平移、求和和取对数合并计算,通常比手工执行 softmax 后再取对数更稳定。
数学上,对数概率等于 。在代码中不要先组装很大的 再相减,应直接在平移后的数上计算 。例如两个相同的 都应得到 ,先算 则可能舍入回 ,相减会得到错误的零。若只需普通概率,再对平移后的对数概率取指数。
边界与排查
本例约定空列表和含 NaN 的列表报错。空和为零,扩展实数接口也可约定其 LogSumExp 为 。全部输入为 -inf 时,结果应为 -inf;只要存在 +inf,结果应为 +inf。这些无穷值边界适用于 LogSumExp。本例的 log_softmax 接口则要求原始 logits 有限。
验证实现时不要只测试正常小数,还应覆盖大正数、大负数、相同值、单元素、无穷值和空输入。排查 Softmax 溢出时,先检查代码是否直接调用了 exp(logits),再确认是否重复执行了 Softmax 与对数操作。