高等数学 / 系统课时
数值梯度验证
数值梯度验证
解析梯度或自动微分即使能正常运行,也可能因公式、广播或反向传播实现错误而给出错误结果。本课用中心差分构造独立参照,比较两类梯度并据此设置可解释的误差阈值。
学习目标
- 理解中心差分为何适合检查梯度实现
- 编写可复用的数值梯度验证程序
- 根据绝对误差、相对误差和数据类型判断结果是否可信
为什么需要独立验证
自动微分检查的是“代码是否按计算图求导”,并不保证计算图本身就是你想要的公式。一个维度写错、广播方向错误或漏加某条分支,都可能产生形状正确但数值错误的梯度。
数值梯度只依赖目标函数的前向结果,不复用解析求导过程,因此适合作为独立对照。它通常只用于小规模测试,而不用于正式训练,因为每个参数都至少需要额外计算两次前向过程。
中心差分与误差指标
对第 个变量,中心差分写为:
它同时观察采样点两侧的函数值,截断误差通常比单边差分更小。使用 float64 时可先取 ;若 太大,近似不够精细,若太小,又会被浮点舍入误差放大。
比较梯度时不能只看绝对误差。接近零的分量适合看绝对误差,数值较大的分量更适合看相对误差。一个可汇总的指标是带下限的尺度化误差。
分母中的 避免零附近的除零,但也意味着小梯度处的指标表现为绝对差。程序仍按分量使用绝对与相对容差来判断是否通过。
完整验证程序
下面验证函数 。解析梯度为 ,程序会逐个扰动输入分量并报告两种误差。
import numpy as np
def objective(x: np.ndarray) -> float:
return float(np.sum(x**3 + 2 * x**2))
def analytic_gradient(x: np.ndarray) -> np.ndarray:
return 3 * x**2 + 4 * x
def numerical_gradient(x: np.ndarray, h: float = 1e-5) -> np.ndarray:
if not np.isfinite(h) or h <= 0:
raise ValueError("h must be finite and positive")
x = np.asarray(x, dtype=np.float64)
grad = np.empty_like(x)
for index in np.ndindex(x.shape):
x_plus, x_minus = x.copy(), x.copy()
x_plus[index] += h
x_minus[index] -= h
if not x_minus[index] < x[index] < x_plus[index]:
raise ValueError("perturbation is not representable")
grad[index] = (objective(x_plus) - objective(x_minus)) / (2 * h)
return grad
def max_scaled_error(a: np.ndarray, b: np.ndarray) -> float:
denominator = np.maximum(1.0, np.maximum(np.abs(a), np.abs(b)))
return float(np.max(np.abs(a - b) / denominator))
def main() -> None:
x = np.array([1.5, -0.5, 2.0], dtype=np.float64)
analytic = analytic_gradient(x)
numeric = numerical_gradient(x)
np.set_printoptions(precision=10, suppress=True)
print("解析梯度:", analytic)
print("数值梯度:", numeric)
print("最大绝对误差:", f"{np.max(np.abs(analytic - numeric)):.3e}")
print("最大尺度化误差:", f"{max_scaled_error(analytic, numeric):.3e}")
assert np.allclose(numeric, analytic, atol=1e-8, rtol=1e-7)
wrong = analytic.copy()
wrong[1] += 1e-3
failed = np.flatnonzero(~np.isclose(numeric, wrong, atol=1e-8, rtol=1e-7))
print("故意改错后的失败下标:", failed.tolist())
assert failed.tolist() == [1]
if __name__ == "__main__":
main()预期输出
解析梯度: [12.75 -1.25 20. ]
数值梯度: [12.7500000001 -1.2499999999 20.0000000003]
最大绝对误差: 3.087e-10
最大尺度化误差: 1.089e-10
故意改错后的失败下标: [1]末尾小数可能因 NumPy、处理器和运行环境略有差异,但误差数量级应接近。
如何设置合理阈值
阈值必须结合数据类型、函数平滑性和计算规模判断,不能机械地要求所有任务达到同一精度。
| 条件 | 本例的检查起点 | 解释 |
|---|---|---|
float64、平滑函数、小规模输入 |
试用 atol=1e-8, rtol=1e-7 |
比较逐项结果并扫描步长 |
float32 或较长计算链 |
先试双精度小样本 | 有效位较少时需要重新选择步长和容差 |
| 含分段点、裁剪或最大值选择 | 需避开不可导点 | 两侧导数可能不同,单一阈值无意义 |
大型模型不应遍历全部参数,可以固定随机种子后抽查若干坐标。若误差异常,先减小测试规模,再分别检查前向公式、广播维度、参数共享和梯度累加位置。
常见误判
数值梯度并非总能给出稳定答案。输入落在 abs、max、ReLU 零点等不可导位置时,两侧差分可能跨越不同分支;随机层、数据增强或 Dropout 未关闭时,两次前向也不是同一个函数。
另外,不要直接用两个梯度的比值判断误差。真实梯度接近零时,比值会被无限放大;同时记录绝对差,并用可解释的逐项容差判断。