高等数学 / 系统课时
差分步长选择
差分步长选择
本课解决有限差分中“步长越小是否越准确”的常见误解,通过误差分解和可运行实验,找到截断误差与舍入误差之间的平衡区间。
学习目标
- 解释大步长产生截断误差、小步长产生舍入误差的原因
- 根据差分格式和浮点精度估计合理步长
- 用多组步长扫描验证数值导数是否稳定
有限差分为什么需要选步长
中心差分用函数值近似导数:
当 较大时, 到 覆盖的区间过宽,曲线的高阶变化无法被局部直线充分表示,形成截断误差。若 在附近有足够光滑的三阶导数,中心差分的主截断误差通常与 同阶,因此减小步长在初期会明显提高精度。
但 过小时, 与 非常接近。浮点数只能保留有限有效位,两次函数求值的舍入误差相对很小,但在接近数的差中所占比例会变大,再除以很小的 就可能显著放大误差。这种现象称为消去误差。

两类误差如何平衡
对中心差分,可把总误差粗略写成:
其中 是机器精度, 与函数高阶导数有关, 与函数值尺度和具体计算过程有关。平衡两项可得到 大致与 同阶;双精度下该量约为 。这只是起点,不是所有函数都适用的固定答案。
前向差分的截断误差通常与 同阶,平衡后常得到 与 同阶。由此可见,步长必须结合差分格式、数据类型、变量尺度和函数平滑程度选择。
主示例:扫描不同步长
下面用中心差分计算 在 处的导数,并与解析值 比较。程序同时测试较大、适中和极小步长。
import math
def central_difference(x: float, h: float) -> float:
if not math.isfinite(h) or h <= 0:
raise ValueError("h must be finite and positive")
plus, minus = x + h, x - h
if not all(math.isfinite(value) for value in (plus, minus)) or not (minus < x < plus):
raise ValueError("both perturbations must be finite and differ from x")
return (math.sin(plus) - math.sin(minus)) / (2.0 * h)
def main() -> None:
x = 1.0
expected = math.cos(x)
# 扫描多个数量级,观察误差先下降后上升
for h in (1e-1, 1e-3, 1e-5, 1e-8, 1e-12):
derivative = central_difference(x, h)
error = abs(derivative - expected)
print(f"h={h:.0e}, derivative={derivative:.12f}, error={error:.3e}")
try:
central_difference(x, 1e-18)
except ValueError:
print("h=1e-18: 浮点扰动不可分辨")
if __name__ == "__main__":
main()预期输出
h=1e-01, derivative=0.539402252170, error=9.001e-04
h=1e-03, derivative=0.540302215818, error=9.005e-08
h=1e-05, derivative=0.540302305857, error=1.114e-11
h=1e-08, derivative=0.540302308449, error=2.581e-09
h=1e-12, derivative=0.540290034934, error=1.227e-05
h=1e-18: 浮点扰动不可分辨误差在 附近最小,继续缩小到 反而明显变差。这正是截断误差下降后,舍入与消去误差开始占主导的结果。在示例环境里, 时两个扰动都舍入回 ,因此拒绝计算。不同数学库或平台在最小步长附近的舍入误差可明显不同,应比较稳定区间和数量级。
实用选择流程
先按变量尺度设置步长,而不是直接给所有变量使用同一个绝对值。常用形式是 ,中心差分在双精度下可先令 接近 ,再围绕该值按十倍或两倍比例扫描。
若连续几组步长得到接近结果,可把这段稳定区间视为可信平台;若结果持续漂移或没有平台,应检查函数是否不光滑、计算是否含随机噪声、输入是否接近定义域边界。对含噪函数,过小步长会放大噪声,通常需要更大的步长或多次采样取平均。
边界与验证注意事项
变量靠近定义域边界时,中心差分可能访问非法点,此时应改用前向或后向差分,并重新按一阶截断误差选择步长。函数在该点不可导时,不同方向差分可能收敛到不同值,不能把这种差异误判为浮点误差。
float32 的有效位较少,机器 epsilon 比 float64 更大,因此合理的初始扰动通常也更大。做梯度检查时,应同时设置相对误差容限,并固定随机种子、关闭随机失活等随机行为,避免把模型随机性混入差分误差。