高等数学 / 系统课时

梯度数值检查

梯度数值检查

梯度数值检查用有限差分近似真实导数,再与手工推导或反向传播得到的梯度比较。它不能替代解析求导,却能快速定位符号、索引、广播和链式法则实现中的错误。

学习目标

  • 使用中心差分近似单个参数的偏导数
  • 编写可复用的梯度检查程序
  • 用逐项绝对与相对容差判断梯度是否通过

数值检查解决什么问题

在神经网络或优化程序中,损失值可能正常下降,但某个梯度分量仍可能因公式、下标或张量形状错误而计算不正确。数值检查把解析梯度与独立计算的近似梯度逐项比较,因此特别适合验证自定义算子、手写反向传播和复杂损失函数。

数值梯度本身计算较慢,且受步长和浮点误差影响,所以它通常只用于小规模测试,不用于正式训练。

有限差分的核心公式

对标量函数 L(θ)L(\theta) 的第 ii 个参数,前向差分为:

∂L∂θi≈L(θ+hei)−L(θ)h\frac{\partial L}{\partial \theta_i}\approx \frac{L(\theta+h e_i)-L(\theta)}{h}

中心差分同时在正负方向取样:

∂L∂θi≈L(θ+hei)−L(θ−hei)2h\frac{\partial L}{\partial \theta_i}\approx \frac{L(\theta+h e_i)-L(\theta-h e_i)}{2h}

若沿被扰动的方向有足够的光滑性,中心差分的截断误差为 O(h2)O(h^2),前向差分通常为 O(h)O(h)。步长 hh 不能过大,否则截断误差明显;也不能过小,否则两个接近数相减会放大浮点舍入误差。双精度计算可先从 10−510^{-5} 左右尝试,再根据函数尺度调整。

一套可靠的检查流程

梯度数值检查流程

检查前应固定输入、参数以及随机状态,保证解析梯度和正负扰动评估的是同一个确定函数。可固定同一个掩码,或在测试目标允许时关闭 Dropout 等随机行为。也要避免几次前向之间改变模型缓冲状态。随后分别计算解析梯度和数值梯度,再使用统一指标比较。逐项报告检查结果,可以避免一个大分量掩盖其他分量的错误。

主示例:检查二维损失函数

下面验证函数 L(w)=w02+3w0w1+sin⁡(w1)L(w)=w_0^2+3w_0w_1+\sin(w_1) 的解析梯度。程序对每个参数分别做正负扰动,并保持其他参数不变。

python
import numpy as np

def loss(w: np.ndarray) -> float:
    return w[0] ** 2 + 3 * w[0] * w[1] + np.sin(w[1])

def analytic_grad(w: np.ndarray) -> np.ndarray:
    return np.array([
        2 * w[0] + 3 * w[1],
        3 * w[0] + np.cos(w[1]),
    ])

def numerical_grad(w: np.ndarray, h: float = 1e-5) -> np.ndarray:
    w = np.asarray(w, dtype=np.float64)
    grad = np.zeros_like(w)

    for i in range(w.size):
        plus = w.copy()
        minus = w.copy()
        plus[i] += h
        minus[i] -= h

        # 中心差分只扰动当前参数
        grad[i] = (loss(plus) - loss(minus)) / (2 * h)

    return grad

w = np.array([1.2, -0.7])
analytic = analytic_grad(w)
numerical = numerical_grad(w)

def matching_components(analytic, numerical):
    return (np.isfinite(analytic) & np.isfinite(numerical)
            & np.isclose(numerical, analytic, rtol=1e-6, atol=1e-8))


print("analytic :", np.round(analytic, 8))
print("numerical:", np.round(numerical, 8))
matching = matching_components(analytic, numerical)
print("逐项通过:", matching.tolist())
assert matching.all()

# 故意改错一个分量,检查程序能否定位该分量
wrong = analytic.copy()
wrong[1] *= -1
failed = np.flatnonzero(~matching_components(wrong, numerical))
print("反号用例的不通过下标:", failed.tolist())
assert failed.tolist() == [1]

预期输出如下。

text
analytic : [0.3        4.36484219]
numerical: [0.3        4.36484219]
逐项通过: [True, True]
反号用例的不通过下标: [1]

如何判定检查是否通过

对每个分量,以解析梯度为参考,允许的差值是 atol+rtol∣ganalytic,i∣\mathrm{atol}+\mathrm{rtol}|g_{\mathrm{analytic},i}|。接近零的分量主要依赖绝对容差,大分量也允许一定的相对误差。容差要按输入尺度、浮点精度与业务要求选择,并在多个样本和步长上检查。单点通过只能说明当前测试的数值与公式吻合。

常见失败原因与处理

  • 函数在检查点不可导,例如 ReLU 在 00 的中心差分是 1/21/2,但经典导数不存在,框架也可能约定返回 00。需要验证普通导数时,可将测试点移到折点两侧。
  • 步长选择不合适,可依次尝试 10−410^{-4}、10−510^{-5}、10−610^{-6},观察误差是否先下降后上升。
  • 正负扰动后未恢复参数,导致后续分量在错误基准上计算。
  • 模型仍含随机行为或更新了状态,应固定每次评估使用的随机值和初始状态。
  • 使用单精度时舍入误差更明显,检查阶段可暂时改用双精度。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度数值检查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通