AI 与工程数学 / 系统课时

用有限差分检查解析梯度

用有限差分检查解析梯度

手写梯度公式时,即使程序正常运行,也可能因为符号、系数或索引错误而得到错误的更新方向。本课使用 Python 和 NumPy 实现中心差分检查器,逐项比较解析梯度与数值梯度,并通过改变步长观察截断误差和浮点误差,判断求导实现是否可信。

学习目标

  • 理解中心差分如何近似偏导数,以及步长对精度的影响。
  • 实现可运行的梯度检查器,定位具体出错的参数分量。
  • 使用相对误差与不同步长的测试结果区分公式错误和数值误差。

中心差分为什么能检查梯度

假设目标函数 f(x)f(\boldsymbol{x}) 接收一个 nn 维参数向量,解析梯度是对每个参数求偏导后得到的向量。数值梯度则不需要知道求导公式,只需要反复调用目标函数。

检查第 ii 个参数时,固定其他参数,仅改变 xix_i:

∂f∂xi≈f(x+hei)−f(x−hei)2h\frac{\partial f}{\partial x_i}\approx\frac{f(\boldsymbol{x}+h\boldsymbol{e}_i)-f(\boldsymbol{x}-h\boldsymbol{e}_i)}{2h}

其中 ei\boldsymbol{e}_i 是第 ii 个位置为 1、其他位置为 0 的单位向量,hh 是扰动步长。

例如 f(x)=x2f(x)=x^2,在 x=3x=3 处取 h=0.01h=0.01,中心差分结果为:

3.012−2.9920.02=6\frac{3.01^2-2.99^2}{0.02}=6

这与解析导数 f′(3)=6f'(3)=6 一致。对于一般光滑函数,中心差分的截断误差为 O(h2)O(h^2),通常比前向差分的 O(h)O(h) 更小,但每个参数需要两次函数计算。

实现一个可复用的梯度检查器

选用二元函数 f(x,y)=(x−2)2+3(y+1)2f(x,y)=(x-2)^2+3(y+1)^2。它的解析梯度是 (2(x−2),6(y+1))(2(x-2),6(y+1))。在 (3,−2)(3,-2) 处,正确梯度应为 (2,−6)(2,-6)。

下面的示例适用于 Python 3.9 及以上版本和 NumPy 1.24 及以上版本。先在已安装 Python 的终端执行:

bash
python -m pip install "numpy>=1.24,<3"

预期结果:命令成功退出,NumPy 可以被导入;下载进度与具体版本取决于环境。

将以下代码保存为 gradient_check.py:

python
import numpy as np


def numerical_gradient(f, x, h=1e-5):
    # 使用副本扰动参数,避免修改调用者传入的数据
    x = np.asarray(x, dtype=np.float64).copy()
    grad = np.zeros_like(x)

    for index in np.ndindex(x.shape):
        original = x[index]
        x[index] = original + h
        f_plus = float(f(x))
        x[index] = original - h
        f_minus = float(f(x))
        x[index] = original
        grad[index] = (f_plus - f_minus) / (2.0 * h)

    return grad


def check_gradient(f, grad_fn, x, h=1e-5):
    if not np.isfinite(h) or h <= 0:
        raise ValueError("h must be positive and finite")

    x = np.asarray(x, dtype=np.float64)
    analytic = np.asarray(grad_fn(x), dtype=np.float64)
    numeric = numerical_gradient(f, x, h)
    if analytic.shape != x.shape:
        raise ValueError("gradient shape does not match parameters")

    # 分母设置尺度下限,避免零梯度附近直接除以零
    difference = np.abs(analytic - numeric)
    scale = np.maximum(1.0, np.maximum(np.abs(analytic), np.abs(numeric)))
    relative_error = difference / scale
    return analytic, numeric, relative_error


def objective(x):
    return (x[0] - 2.0) ** 2 + 3.0 * (x[1] + 1.0) ** 2


def analytic_gradient(x):
    return np.array([2.0 * (x[0] - 2.0), 6.0 * (x[1] + 1.0)])


if __name__ == "__main__":
    point = np.array([3.0, -2.0])
    a, n, errors = check_gradient(objective, analytic_gradient, point)
    print("analytic:", a)
    print("numeric: ", np.round(n, 6))
    print("max error:", f"{np.max(errors):.3e}")
    print("passed:", bool(np.all(errors < 1e-6)))

运行命令:

bash
python gradient_check.py

预期输出:

text
analytic: [ 2. -6.]
numeric:  [ 2. -6.]
max error: 约 1e-11 或更小
passed: True

max error 的实际数值随 NumPy 版本和浮点运算环境略有不同。程序使用的是逐分量归一化误差:

Ei=∣gi−g^i∣max⁡(1,∣gi∣,∣g^i∣)E_i=\frac{|g_i-\hat g_i|}{\max(1,|g_i|,|\hat g_i|)}

这里 gig_i 是解析梯度,g^i\hat g_i 是数值梯度。这个指标在梯度接近零时相当于绝对误差,在梯度较大时相当于相对误差,避免单纯除以接近零的梯度值。示例中的 1e-6 是双精度、光滑小函数的教学检查阈值,不是所有模型通用的标准。

改变步长观察误差

步长不是越小越好。中心差分有两类主要误差:一是有限步长带来的截断误差,数量级约为 O(h2)O(h^2);二是两次接近的函数值相减造成的浮点舍入误差,其影响可随 hh 缩小而放大。

使用非二次函数 f(x)=sin⁡xf(x)=\sin x,在 x=1x=1 处对比不同步长。真实导数是 cos⁡(1)≈0.540302305868\cos(1)\approx0.540302305868。在理想双精度浮点环境下,常见的结果规律如下:

步长 hh 典型误差量级 主要现象
10−110^{-1} 10−310^{-3} 截断误差明显
10−310^{-3} 10−710^{-7} 精度明显改善
10−510^{-5} 10−1110^{-11} 通常较准确
10−810^{-8} 10−910^{-9} 左右 浮点相消开始显现
10−1210^{-12} 10−510^{-5} 左右 舍入误差可能主导

表中是典型量级,并非所有平台的固定输出。可以把下面的实验片段追加到 gradient_check.py 文件末尾现有主程序块中,依赖文件开头已导入的 numpy 及已定义的 numerical_gradient:

python
    # 比较同一函数在不同扰动尺度下的数值误差
    for step in [1e-1, 1e-3, 1e-5, 1e-8, 1e-12]:
        result = numerical_gradient(
            lambda z: np.sin(z[0]), np.array([1.0]), step
        )[0]
        error = abs(result - np.cos(1.0))
        print(f"h={step:.0e}, error={error:.3e}")

预期结果:执行 python gradient_check.py 后,原有检查输出后面增加五行步长实验数据;通常误差先下降,再在极小步长下反弹。具体误差以实际运行结果为准。

梯度检查失败时如何定位

假设错误地把第二项的系数 3 忽略,将解析梯度写成 (2(x−2),2(y+1))(2(x-2),2(y+1))。在 (3,−2)(3,-2) 处,解析值变成 (2,−2)(2,-2),而中心差分仍接近 (2,−6)(2,-6),第二分量的归一化误差约为 4/6=0.66674/6=0.6667。这种远大于 10−610^{-6} 的误差,通常不是步长导致的。

建议按以下顺序排查:

  1. 检查坐标索引:确保 grad[i] 与第 ii 个参数对应,特别注意矩阵展平、批量维度和广播操作。
  2. 检查求导系数和符号:逐项核对平方项的系数、链式法则与负号,而不是直接调整学习率。
  3. 更换步长:分别测试 10−410^{-4}、10−510^{-5}、10−610^{-6};如果误差随步长平滑变化,优先考虑数值精度问题。
  4. 检查函数是否确定:梯度检查期间关闭随机扰动,固定测试数据,避免每次目标函数调用得到不同结果。
  5. 避开不可导点:例如 ReLU 在零点不可导,中心差分可能得到两侧斜率的平均值,与框架采用的次梯度约定不同。

神经网络中的梯度检查还应使用小批量数据、双精度计算,并在固定参数下分别计算解析梯度与数值梯度。若包含 Dropout,应在检查时关闭随机失活;若存在 Batch Normalization,应固定输入与运行模式,避免状态更新干扰函数值。

中心差分计算 nn 维梯度需要约 2n2n 次目标函数求值,因此不适合每次训练迭代都执行。对于百万参数模型,可随机抽取少量参数坐标检查,或选用一个缩小后的模型进行完整检查。

一次可靠的梯度核对至少要满足三个条件:逐分量误差低于合理阈值、相邻步长下结果一致、检查期间目标函数保持确定性。满足这些条件后,再把解析梯度用于梯度下降或反向传播训练。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用有限差分检查解析梯度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通