高等数学 / 系统课时
梯度数值检查
梯度数值检查
梯度数值检查用有限差分近似真实导数,再与手工推导或反向传播得到的梯度比较。它不能替代解析求导,却能快速定位符号、索引、广播和链式法则实现中的错误。
学习目标
- 使用中心差分近似单个参数的偏导数
- 编写可复用的梯度检查程序
- 用逐项绝对与相对容差判断梯度是否通过
数值检查解决什么问题
在神经网络或优化程序中,损失值可能正常下降,但某个梯度分量仍可能因公式、下标或张量形状错误而计算不正确。数值检查把解析梯度与独立计算的近似梯度逐项比较,因此特别适合验证自定义算子、手写反向传播和复杂损失函数。
数值梯度本身计算较慢,且受步长和浮点误差影响,所以它通常只用于小规模测试,不用于正式训练。
有限差分的核心公式
对标量函数 的第 个参数,前向差分为:
中心差分同时在正负方向取样:
若沿被扰动的方向有足够的光滑性,中心差分的截断误差为 ,前向差分通常为 。步长 不能过大,否则截断误差明显;也不能过小,否则两个接近数相减会放大浮点舍入误差。双精度计算可先从 左右尝试,再根据函数尺度调整。
一套可靠的检查流程

检查前应固定输入、参数以及随机状态,保证解析梯度和正负扰动评估的是同一个确定函数。可固定同一个掩码,或在测试目标允许时关闭 Dropout 等随机行为。也要避免几次前向之间改变模型缓冲状态。随后分别计算解析梯度和数值梯度,再使用统一指标比较。逐项报告检查结果,可以避免一个大分量掩盖其他分量的错误。
主示例:检查二维损失函数
下面验证函数 的解析梯度。程序对每个参数分别做正负扰动,并保持其他参数不变。
python
import numpy as np
def loss(w: np.ndarray) -> float:
return w[0] ** 2 + 3 * w[0] * w[1] + np.sin(w[1])
def analytic_grad(w: np.ndarray) -> np.ndarray:
return np.array([
2 * w[0] + 3 * w[1],
3 * w[0] + np.cos(w[1]),
])
def numerical_grad(w: np.ndarray, h: float = 1e-5) -> np.ndarray:
w = np.asarray(w, dtype=np.float64)
grad = np.zeros_like(w)
for i in range(w.size):
plus = w.copy()
minus = w.copy()
plus[i] += h
minus[i] -= h
# 中心差分只扰动当前参数
grad[i] = (loss(plus) - loss(minus)) / (2 * h)
return grad
w = np.array([1.2, -0.7])
analytic = analytic_grad(w)
numerical = numerical_grad(w)
def matching_components(analytic, numerical):
return (np.isfinite(analytic) & np.isfinite(numerical)
& np.isclose(numerical, analytic, rtol=1e-6, atol=1e-8))
print("analytic :", np.round(analytic, 8))
print("numerical:", np.round(numerical, 8))
matching = matching_components(analytic, numerical)
print("逐项通过:", matching.tolist())
assert matching.all()
# 故意改错一个分量,检查程序能否定位该分量
wrong = analytic.copy()
wrong[1] *= -1
failed = np.flatnonzero(~matching_components(wrong, numerical))
print("反号用例的不通过下标:", failed.tolist())
assert failed.tolist() == [1]预期输出如下。
text
analytic : [0.3 4.36484219]
numerical: [0.3 4.36484219]
逐项通过: [True, True]
反号用例的不通过下标: [1]如何判定检查是否通过
对每个分量,以解析梯度为参考,允许的差值是 。接近零的分量主要依赖绝对容差,大分量也允许一定的相对误差。容差要按输入尺度、浮点精度与业务要求选择,并在多个样本和步长上检查。单点通过只能说明当前测试的数值与公式吻合。
常见失败原因与处理
- 函数在检查点不可导,例如 ReLU 在 的中心差分是 ,但经典导数不存在,框架也可能约定返回 。需要验证普通导数时,可将测试点移到折点两侧。
- 步长选择不合适,可依次尝试 、、,观察误差是否先下降后上升。
- 正负扰动后未恢复参数,导致后续分量在错误基准上计算。
- 模型仍含随机行为或更新了状态,应固定每次评估使用的随机值和初始状态。
- 使用单精度时舍入误差更明显,检查阶段可暂时改用双精度。
按自己的节奏,确认真正理解。