高等数学 / 系统课时
上溢与下溢
上溢与下溢
本课解决指数结果过大、极小概率乘积变成零的问题。你将用一个可运行实验观察浮点数越界现象,并掌握对数域计算、分支改写和范围检查三种基本规避方法。
学习目标
- 区分上溢、下溢以及它们在程序中的典型表现
- 解释指数运算和概率连乘为什么容易越过浮点数范围
- 使用对数域与稳定公式降低数值越界风险
浮点数为什么会越界
计算机中的浮点数只能表示有限范围。在常见的 IEEE 754 双精度中,最大有限值约为 ,最小正正规值约为 ,最小正次正规值约为 。结果过大时可能上溢;结果很小则可能被舍入成精度更低的次正规数,或进一步舍入成零。
上溢常表现为 inf、异常或后续计算得到 nan。下溢通常更隐蔽:极小的非零值可能直接变成 0.0,程序仍继续运行,却丢失了概率、梯度或权重信息。
指数函数会快速放大输入。以双精度为例, 已超过最大有限值,而 小到可能被舍入为零。多个小概率直接相乘也会产生相同问题,例如四个 的乘积是 。
用实验观察边界
下面的示例同时观察指数上溢、指数下溢、概率连乘下溢,并用分支公式稳定计算 Sigmoid。
import math
def stable_sigmoid(x: float) -> float:
# 根据符号选择指数方向,避免直接计算过大的 exp(-x)
if x >= 0:
z = math.exp(-x)
return 1.0 / (1.0 + z)
z = math.exp(x)
return z / (1.0 + z)
for x in (710.0, -745.0, -750.0):
try:
print(f"exp({x:.0f})={math.exp(x):.3e}")
except OverflowError:
print(f"exp({x:.0f})=OverflowError")
probabilities = [1e-100] * 4
direct = math.prod(probabilities)
log_probability = sum(math.log(p) for p in probabilities)
print(f"direct_product={direct:.1e}")
print(f"log_probability={log_probability:.6f}")
print(f"sigmoid(1000)={stable_sigmoid(1000.0):.1f}")
print(f"sigmoid(-1000)={stable_sigmoid(-1000.0):.1f}")预期输出
exp(710)=OverflowError
exp(-745)=4.941e-324
exp(-750)=0.000e+00
direct_product=0.0e+00
log_probability=-921.034037
sigmoid(1000)=1.0
sigmoid(-1000)=0.0指数 exp(-745) 舍入到最小正次正规数,exp(-750) 舍入到零。概率连乘已舍入为零,但在连乘前分别取对数仍能保留有限的对数结果。稳定 Sigmoid 不会计算危险的巨大指数,因此在极端输入下仍能返回合理边界值。
三种基本规避方法
第一种方法是进入对数域。概率连乘可改为对数相加:。上式用于正概率。若事件的概率在数学上确实为零,可用扩展实数 表示其对数;Python 的 math.log(0) 会报错,需要显式处理。若概率是在上游下溢为零,事后再取对数无法恢复丢失的信息。
第二种方法是做代数改写。Sigmoid、Softmax、交叉熵等公式通常存在数值等价但更稳定的写法。核心原则是避免计算过大的正指数,并让指数输入尽量不大于零。
第三种方法是缩放与检查。训练前可标准化输入,计算中检查 isfinite,必要时对输入或梯度做有依据的裁剪。裁剪会改变原问题,不能用它掩盖错误的数据范围或公式实现。
排查越界问题
遇到损失突然变成 nan、概率全为零或梯度消失时,应先定位第一个异常张量,而不是只检查最终输出。
- 检查中间结果是否出现
inf、-inf、nan或异常多的零 - 记录进入
exp、乘法连积、除法和对数运算前的数据范围 - 确认使用的是
float32还是float64,前者可表示范围更小 - 将直接概率运算改为对数概率或框架提供的稳定组合函数
- 修复后用极大正数、极大负数和接近零的输入做边界验证