高等数学 / 系统课时

上溢与下溢

上溢与下溢

本课解决指数结果过大、极小概率乘积变成零的问题。你将用一个可运行实验观察浮点数越界现象,并掌握对数域计算、分支改写和范围检查三种基本规避方法。

学习目标

  • 区分上溢、下溢以及它们在程序中的典型表现
  • 解释指数运算和概率连乘为什么容易越过浮点数范围
  • 使用对数域与稳定公式降低数值越界风险

浮点数为什么会越界

计算机中的浮点数只能表示有限范围。在常见的 IEEE 754 双精度中,最大有限值约为 1.80×103081.80\times10^{308},最小正正规值约为 2.23×10−3082.23\times10^{-308},最小正次正规值约为 4.94×10−3244.94\times10^{-324}。结果过大时可能上溢;结果很小则可能被舍入成精度更低的次正规数,或进一步舍入成零。

上溢常表现为 inf、异常或后续计算得到 nan。下溢通常更隐蔽:极小的非零值可能直接变成 0.0,程序仍继续运行,却丢失了概率、梯度或权重信息。

指数函数会快速放大输入。以双精度为例,e710e^{710} 已超过最大有限值,而 e−750e^{-750} 小到可能被舍入为零。多个小概率直接相乘也会产生相同问题,例如四个 10−10010^{-100} 的乘积是 10−40010^{-400}。

用实验观察边界

下面的示例同时观察指数上溢、指数下溢、概率连乘下溢,并用分支公式稳定计算 Sigmoid。

python
import math

def stable_sigmoid(x: float) -> float:
    # 根据符号选择指数方向,避免直接计算过大的 exp(-x)
    if x >= 0:
        z = math.exp(-x)
        return 1.0 / (1.0 + z)

    z = math.exp(x)
    return z / (1.0 + z)

for x in (710.0, -745.0, -750.0):
    try:
        print(f"exp({x:.0f})={math.exp(x):.3e}")
    except OverflowError:
        print(f"exp({x:.0f})=OverflowError")

probabilities = [1e-100] * 4
direct = math.prod(probabilities)
log_probability = sum(math.log(p) for p in probabilities)

print(f"direct_product={direct:.1e}")
print(f"log_probability={log_probability:.6f}")
print(f"sigmoid(1000)={stable_sigmoid(1000.0):.1f}")
print(f"sigmoid(-1000)={stable_sigmoid(-1000.0):.1f}")

预期输出

text
exp(710)=OverflowError
exp(-745)=4.941e-324
exp(-750)=0.000e+00
direct_product=0.0e+00
log_probability=-921.034037
sigmoid(1000)=1.0
sigmoid(-1000)=0.0

指数 exp(-745) 舍入到最小正次正规数,exp(-750) 舍入到零。概率连乘已舍入为零,但在连乘前分别取对数仍能保留有限的对数结果。稳定 Sigmoid 不会计算危险的巨大指数,因此在极端输入下仍能返回合理边界值。

三种基本规避方法

第一种方法是进入对数域。概率连乘可改为对数相加:log⁡(p1p2)=log⁡p1+log⁡p2\log(p_1p_2)=\log p_1+\log p_2。上式用于正概率。若事件的概率在数学上确实为零,可用扩展实数 −∞-\infty 表示其对数;Python 的 math.log(0) 会报错,需要显式处理。若概率是在上游下溢为零,事后再取对数无法恢复丢失的信息。

第二种方法是做代数改写。Sigmoid、Softmax、交叉熵等公式通常存在数值等价但更稳定的写法。核心原则是避免计算过大的正指数,并让指数输入尽量不大于零。

第三种方法是缩放与检查。训练前可标准化输入,计算中检查 isfinite,必要时对输入或梯度做有依据的裁剪。裁剪会改变原问题,不能用它掩盖错误的数据范围或公式实现。

排查越界问题

遇到损失突然变成 nan、概率全为零或梯度消失时,应先定位第一个异常张量,而不是只检查最终输出。

  • 检查中间结果是否出现 inf、-inf、nan 或异常多的零
  • 记录进入 exp、乘法连积、除法和对数运算前的数据范围
  • 确认使用的是 float32 还是 float64,前者可表示范围更小
  • 将直接概率运算改为对数概率或框架提供的稳定组合函数
  • 修复后用极大正数、极大负数和接近零的输入做边界验证
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

上溢与下溢

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通