高等数学 / 系统课时

数值梯度验证

数值梯度验证

解析梯度或自动微分即使能正常运行,也可能因公式、广播或反向传播实现错误而给出错误结果。本课用中心差分构造独立参照,比较两类梯度并据此设置可解释的误差阈值。

学习目标

  • 理解中心差分为何适合检查梯度实现
  • 编写可复用的数值梯度验证程序
  • 根据绝对误差、相对误差和数据类型判断结果是否可信

为什么需要独立验证

自动微分检查的是“代码是否按计算图求导”,并不保证计算图本身就是你想要的公式。一个维度写错、广播方向错误或漏加某条分支,都可能产生形状正确但数值错误的梯度。

数值梯度只依赖目标函数的前向结果,不复用解析求导过程,因此适合作为独立对照。它通常只用于小规模测试,而不用于正式训练,因为每个参数都至少需要额外计算两次前向过程。

中心差分与误差指标

对第 ii 个变量,中心差分写为:

ginum=f(x+hei)−f(x−hei)2hg_i^{\text{num}}=\frac{f(x+h e_i)-f(x-h e_i)}{2h}

它同时观察采样点两侧的函数值,截断误差通常比单边差分更小。使用 float64 时可先取 h=10−5h=10^{-5};若 hh 太大,近似不够精细,若太小,又会被浮点舍入误差放大。

比较梯度时不能只看绝对误差。接近零的分量适合看绝对误差,数值较大的分量更适合看相对误差。一个可汇总的指标是带下限的尺度化误差。

scaled error=max⁡i∣giana−ginum∣max⁡(1,∣giana∣,∣ginum∣)\text{scaled error}=\max_i\frac{|g_i^{\text{ana}}-g_i^{\text{num}}|}{\max(1,|g_i^{\text{ana}}|,|g_i^{\text{num}}|)}

分母中的 11 避免零附近的除零,但也意味着小梯度处的指标表现为绝对差。程序仍按分量使用绝对与相对容差来判断是否通过。

完整验证程序

下面验证函数 f(x)=∑i(xi3+2xi2)f(x)=\sum_i(x_i^3+2x_i^2)。解析梯度为 3xi2+4xi3x_i^2+4x_i,程序会逐个扰动输入分量并报告两种误差。

python
import numpy as np

def objective(x: np.ndarray) -> float:
    return float(np.sum(x**3 + 2 * x**2))

def analytic_gradient(x: np.ndarray) -> np.ndarray:
    return 3 * x**2 + 4 * x

def numerical_gradient(x: np.ndarray, h: float = 1e-5) -> np.ndarray:
    if not np.isfinite(h) or h <= 0:
        raise ValueError("h must be finite and positive")
    x = np.asarray(x, dtype=np.float64)
    grad = np.empty_like(x)

    for index in np.ndindex(x.shape):
        x_plus, x_minus = x.copy(), x.copy()
        x_plus[index] += h
        x_minus[index] -= h
        if not x_minus[index] < x[index] < x_plus[index]:
            raise ValueError("perturbation is not representable")
        grad[index] = (objective(x_plus) - objective(x_minus)) / (2 * h)

    return grad


def max_scaled_error(a: np.ndarray, b: np.ndarray) -> float:
    denominator = np.maximum(1.0, np.maximum(np.abs(a), np.abs(b)))
    return float(np.max(np.abs(a - b) / denominator))

def main() -> None:
    x = np.array([1.5, -0.5, 2.0], dtype=np.float64)
    analytic = analytic_gradient(x)
    numeric = numerical_gradient(x)

    np.set_printoptions(precision=10, suppress=True)
    print("解析梯度:", analytic)
    print("数值梯度:", numeric)
    print("最大绝对误差:", f"{np.max(np.abs(analytic - numeric)):.3e}")
    print("最大尺度化误差:", f"{max_scaled_error(analytic, numeric):.3e}")
    assert np.allclose(numeric, analytic, atol=1e-8, rtol=1e-7)

    wrong = analytic.copy()
    wrong[1] += 1e-3
    failed = np.flatnonzero(~np.isclose(numeric, wrong, atol=1e-8, rtol=1e-7))
    print("故意改错后的失败下标:", failed.tolist())
    assert failed.tolist() == [1]

if __name__ == "__main__":
    main()

预期输出

text
解析梯度: [12.75 -1.25 20.  ]
数值梯度: [12.7500000001 -1.2499999999 20.0000000003]
最大绝对误差: 3.087e-10
最大尺度化误差: 1.089e-10
故意改错后的失败下标: [1]

末尾小数可能因 NumPy、处理器和运行环境略有差异,但误差数量级应接近。

如何设置合理阈值

阈值必须结合数据类型、函数平滑性和计算规模判断,不能机械地要求所有任务达到同一精度。

条件 本例的检查起点 解释
float64、平滑函数、小规模输入 试用 atol=1e-8, rtol=1e-7 比较逐项结果并扫描步长
float32 或较长计算链 先试双精度小样本 有效位较少时需要重新选择步长和容差
含分段点、裁剪或最大值选择 需避开不可导点 两侧导数可能不同,单一阈值无意义

大型模型不应遍历全部参数,可以固定随机种子后抽查若干坐标。若误差异常,先减小测试规模,再分别检查前向公式、广播维度、参数共享和梯度累加位置。

常见误判

数值梯度并非总能给出稳定答案。输入落在 abs、max、ReLU 零点等不可导位置时,两侧差分可能跨越不同分支;随机层、数据增强或 Dropout 未关闭时,两次前向也不是同一个函数。

另外,不要直接用两个梯度的比值判断误差。真实梯度接近零时,比值会被无限放大;同时记录绝对差,并用可解释的逐项容差判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数值梯度验证

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通