高等数学 / 系统课时

差分步长选择

差分步长选择

本课解决有限差分中“步长越小是否越准确”的常见误解,通过误差分解和可运行实验,找到截断误差与舍入误差之间的平衡区间。

学习目标

  • 解释大步长产生截断误差、小步长产生舍入误差的原因
  • 根据差分格式和浮点精度估计合理步长
  • 用多组步长扫描验证数值导数是否稳定

有限差分为什么需要选步长

中心差分用函数值近似导数:

f′(x)≈f(x+h)−f(x−h)2hf'(x)\approx\frac{f(x+h)-f(x-h)}{2h}

当 hh 较大时,x−hx-h 到 x+hx+h 覆盖的区间过宽,曲线的高阶变化无法被局部直线充分表示,形成截断误差。若 ff 在附近有足够光滑的三阶导数,中心差分的主截断误差通常与 h2h^2 同阶,因此减小步长在初期会明显提高精度。

但 hh 过小时,f(x+h)f(x+h) 与 f(x−h)f(x-h) 非常接近。浮点数只能保留有限有效位,两次函数求值的舍入误差相对很小,但在接近数的差中所占比例会变大,再除以很小的 2h2h 就可能显著放大误差。这种现象称为消去误差。

有限差分总误差与步长的关系

两类误差如何平衡

对中心差分,可把总误差粗略写成:

E(h)≈C1h2+C2εhE(h)\approx C_1h^2+C_2\frac{\varepsilon}{h}

其中 ε\varepsilon 是机器精度,C1C_1 与函数高阶导数有关,C2C_2 与函数值尺度和具体计算过程有关。平衡两项可得到 hh 大致与 ε1/3\varepsilon^{1/3} 同阶;双精度下该量约为 6×10−66\times10^{-6}。这只是起点,不是所有函数都适用的固定答案。

前向差分的截断误差通常与 hh 同阶,平衡后常得到 hh 与 ε\sqrt{\varepsilon} 同阶。由此可见,步长必须结合差分格式、数据类型、变量尺度和函数平滑程度选择。

主示例:扫描不同步长

下面用中心差分计算 sin⁡(x)\sin(x) 在 x=1x=1 处的导数,并与解析值 cos⁡(1)\cos(1) 比较。程序同时测试较大、适中和极小步长。

python
import math

def central_difference(x: float, h: float) -> float:
    if not math.isfinite(h) or h <= 0:
        raise ValueError("h must be finite and positive")
    plus, minus = x + h, x - h
    if not all(math.isfinite(value) for value in (plus, minus)) or not (minus < x < plus):
        raise ValueError("both perturbations must be finite and differ from x")
    return (math.sin(plus) - math.sin(minus)) / (2.0 * h)

def main() -> None:
    x = 1.0
    expected = math.cos(x)

    # 扫描多个数量级,观察误差先下降后上升
    for h in (1e-1, 1e-3, 1e-5, 1e-8, 1e-12):
        derivative = central_difference(x, h)
        error = abs(derivative - expected)
        print(f"h={h:.0e}, derivative={derivative:.12f}, error={error:.3e}")

    try:
        central_difference(x, 1e-18)
    except ValueError:
        print("h=1e-18: 浮点扰动不可分辨")

if __name__ == "__main__":
    main()

预期输出

text
h=1e-01, derivative=0.539402252170, error=9.001e-04
h=1e-03, derivative=0.540302215818, error=9.005e-08
h=1e-05, derivative=0.540302305857, error=1.114e-11
h=1e-08, derivative=0.540302308449, error=2.581e-09
h=1e-12, derivative=0.540290034934, error=1.227e-05
h=1e-18: 浮点扰动不可分辨

误差在 h=10−5h=10^{-5} 附近最小,继续缩小到 10−1210^{-12} 反而明显变差。这正是截断误差下降后,舍入与消去误差开始占主导的结果。在示例环境里,h=10−18h=10^{-18} 时两个扰动都舍入回 11,因此拒绝计算。不同数学库或平台在最小步长附近的舍入误差可明显不同,应比较稳定区间和数量级。

实用选择流程

先按变量尺度设置步长,而不是直接给所有变量使用同一个绝对值。常用形式是 h=ηmax⁡(1,∣x∣)h=\eta\max(1,|x|),中心差分在双精度下可先令 η\eta 接近 ε1/3\varepsilon^{1/3},再围绕该值按十倍或两倍比例扫描。

若连续几组步长得到接近结果,可把这段稳定区间视为可信平台;若结果持续漂移或没有平台,应检查函数是否不光滑、计算是否含随机噪声、输入是否接近定义域边界。对含噪函数,过小步长会放大噪声,通常需要更大的步长或多次采样取平均。

边界与验证注意事项

变量靠近定义域边界时,中心差分可能访问非法点,此时应改用前向或后向差分,并重新按一阶截断误差选择步长。函数在该点不可导时,不同方向差分可能收敛到不同值,不能把这种差异误判为浮点误差。

float32 的有效位较少,机器 epsilon 比 float64 更大,因此合理的初始扰动通常也更大。做梯度检查时,应同时设置相对误差容限,并固定随机种子、关闭随机失活等随机行为,避免把模型随机性混入差分误差。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

差分步长选择

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通