高等数学 / 系统课时

LogSumExp技巧

LogSumExp技巧

本课解决 log⁡∑ex\log\sum e^x 在大正数下的上溢和在大负数下的下溢。你将推导提取最大值的稳定公式,实现可运行的 LogSumExp,并理解它与 Softmax、对数概率计算之间的关系。

学习目标

  • 说明直接计算对数指数和为什么容易上溢或下溢
  • 推导并实现提取最大值后的稳定 LogSumExp
  • 识别空输入、无穷值和 Softmax 计算中的关键边界

问题定义

LogSumExp 将一组数先取指数、求和,再取对数:

LSE⁡(x1,…,xn)=log⁡(∑i=1nexi)\operatorname{LSE}(x_1,\dots,x_n)=\log\left(\sum_{i=1}^{n}e^{x_i}\right)

它常见于 Softmax、交叉熵、隐变量模型和对数概率合并。直接实现看似简单,但只要某个 xix_i 很大,exie^{x_i} 就可能先上溢;当所有输入都很小时,指数值又可能全部下溢为零,最终出现 log(0)。

提取最大值改写

令 m=max⁡ixim=\max_i x_i。因为 exi=emexi−me^{x_i}=e^m e^{x_i-m},原式可改写为:

LSE⁡(x)=m+log⁡(∑i=1nexi−m)\operatorname{LSE}(x)=m+\log\left(\sum_{i=1}^{n}e^{x_i-m}\right)

改写后,每个 xi−m≤0x_i-m\leq0,最大的指数项正好是 e0=1e^0=1。这样既不会产生巨大的正指数,也能让接近最大值的项保留有效精度。这个变换只改变计算路径,不改变数学结果。

实现并验证

下面用三个接近 1000 的输入比较直接算法与稳定算法。直接算法会在计算指数时上溢,稳定算法先平移输入后得到有限结果。

python
import math

def logsumexp(values: list[float]) -> float:
    if not values or any(math.isnan(x) for x in values):
        raise ValueError("values must be nonempty and contain no NaN")

    m = max(values)

    # 全部为负无穷或包含正无穷时,极值本身就是正确边界结果
    if math.isinf(m):
        return m

    # 单独保留一个最大项 exp(0)=1,以 log1p 计算小尾项的影响
    max_index = values.index(m)
    tail = math.fsum(math.exp(x - m) for i, x in enumerate(values) if i != max_index)
    return m + math.log1p(tail)


def log_softmax(values: list[float]) -> list[float]:
    if not values or not all(math.isfinite(x) for x in values):
        raise ValueError("logits must be nonempty and finite")
    m = max(values)
    shifted = [x - m for x in values]
    normalizer = logsumexp(shifted)
    return [x - normalizer for x in shifted]

values = [1000.0, 1001.0, 999.0]

try:
    naive = math.log(sum(math.exp(x) for x in values))
except OverflowError:
    naive = "OverflowError"

stable = logsumexp(values)

print(f"naive={naive}")
print(f"stable={stable:.6f}")
print(f"shifted_max={max(x - max(values) for x in values):.1f}")

large_tie = [1e16, 1e16]
print(f"log_softmax(tie)={log_softmax(large_tie)[0]:.6f}")
print(f"logsumexp([0, -40])={logsumexp([0.0, -40.0]):.3e}")

预期输出

text
naive=OverflowError
stable=1001.407606
shifted_max=0.0
log_softmax(tie)=-0.693147
logsumexp([0, -40])=4.248e-18

shifted_max 为零,说明平移后的所有指数输入都不大于零。稳定结果仍大于最大输入 1001,因为其余两项也对指数和产生了正贡献。

与 Softmax 的关系

Softmax 可以写成:

softmax⁡(xi)=exi−LSE⁡(x)\operatorname{softmax}(x_i)=e^{x_i-\operatorname{LSE}(x)}

使用稳定 LogSumExp 后,不必先计算可能溢出的 exie^{x_i}。工程框架通常还提供 log_softmax 或“交叉熵加 logits”的组合接口,它们会把平移、求和和取对数合并计算,通常比手工执行 softmax 后再取对数更稳定。

数学上,对数概率等于 xi−LSE⁡(x)x_i-\operatorname{LSE}(x)。在代码中不要先组装很大的 LSE⁡(x)\operatorname{LSE}(x) 再相减,应直接在平移后的数上计算 (xi−m)−log⁡∑jexj−m(x_i-m)-\log\sum_j e^{x_j-m}。例如两个相同的 101610^{16} 都应得到 −ln⁡2-\ln2,先算 1016+ln⁡210^{16}+\ln2 则可能舍入回 101610^{16},相减会得到错误的零。若只需普通概率,再对平移后的对数概率取指数。

边界与排查

本例约定空列表和含 NaN 的列表报错。空和为零,扩展实数接口也可约定其 LogSumExp 为 −∞-\infty。全部输入为 -inf 时,结果应为 -inf;只要存在 +inf,结果应为 +inf。这些无穷值边界适用于 LogSumExp。本例的 log_softmax 接口则要求原始 logits 有限。

验证实现时不要只测试正常小数,还应覆盖大正数、大负数、相同值、单元素、无穷值和空输入。排查 Softmax 溢出时,先检查代码是否直接调用了 exp(logits),再确认是否重复执行了 Softmax 与对数操作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

LogSumExp技巧

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通