高等数学 / 系统课时

梯度错误排查

梯度错误排查

反向传播一旦写错,模型可能仍能运行,却会在训练中表现为损失不降、梯度异常或结果漂移。本课给出一条可复现的排查路径:先用数值梯度确认整体错误,再缩小到局部节点,最后核对维度、广播与梯度累加。

学习目标

  • 使用中心差分计算数值梯度,并判断解析梯度是否可信
  • 通过局部节点检查定位第一个产生错误梯度的算子
  • 识别维度、广播、梯度累加和清零相关的实现问题

先建立排查顺序

不要一开始就逐行阅读整个反向传播实现。更高效的顺序是:固定随机种子和最小输入,确认前向结果正确;再做整体梯度检查;若失败,沿计算图从输出向输入逐节点检查;最后核对形状、广播归约、梯度累加和清零时机。

梯度错误的漏斗式排查流程

这条路径像漏斗:前面的检查覆盖范围大,后面的检查定位更精确。每次只保留一个变量,避免同时更换输入、算子和优化器,否则难以确认修复是否真正有效。

用数值梯度验证整体结果

对第 ii 个输入分量,令 eie_i 只在该位置为 11。中心差分以 [f(x+εei)−f(x−εei)]/(2ε)[f(x+\varepsilon e_i)-f(x-\varepsilon e_i)]/(2\varepsilon) 近似该分量的导数。解析与数值结果按分量比较,接近零时看绝对容差,尺度较大时也要看相对容差。

下面的程序检查函数 f(x)=∑xi3f(x)=\sum x_i^3 的解析梯度。它会逐个扰动输入分量,并验证解析结果与数值结果是否一致。

python
import numpy as np

def f(x: np.ndarray) -> float:
    return float(np.sum(x ** 3))

def analytic_grad(x: np.ndarray) -> np.ndarray:
    return 3 * x ** 2

def numerical_grad(func, x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
    if not np.isfinite(eps) or eps <= 0:
        raise ValueError("eps must be finite and positive")
    x = np.asarray(x, dtype=np.float64)
    grad = np.empty_like(x)

    # 逐个索引扰动,保留输入数组的形状和原值
    for index in np.ndindex(x.shape):
        plus, minus = x.copy(), x.copy()
        plus[index] += eps
        minus[index] -= eps
        if not (minus[index] < x[index] < plus[index]):
            raise ValueError("perturbation is not representable")
        grad[index] = (func(plus) - func(minus)) / (2 * eps)

    return grad

def main() -> None:
    x = np.array([1.0, -2.0, 0.5])
    analytic = analytic_grad(x)
    numeric = numerical_grad(f, x)

    # allclose 同时考虑绝对误差和相对误差
    print("analytic:", np.round(analytic, 6))
    print("numeric :", np.round(numeric, 6))
    print("check:", np.allclose(numeric, analytic, rtol=1e-5, atol=1e-7))

    matrix = np.array([[1, -2], [0, 3]])
    assert np.allclose(numerical_grad(f, matrix), analytic_grad(matrix),
                       rtol=1e-5, atol=1e-7)

    upstream = np.array([[1.0, 2.0], [3.0, 4.0]])
    print("bias grad:", upstream.sum(axis=0))

if __name__ == "__main__":
    main()

预期输出

text
analytic: [ 3.   12.    0.75]
numeric : [ 3.   12.    0.75]
check: True
bias grad: [4. 6.]

若检查失败,先尝试把 εε 调整到 10−410^{-4} 或 10−610^{-6}。过大时截断误差明显,过小时浮点舍入误差会放大。ReLU、最大值等不可导点附近也可能出现差异,应换用远离边界的随机输入复测。

缩小到局部节点

整体梯度失败后,从损失节点开始反向检查每个算子。对当前节点记录前向输入、前向输出、上游梯度和计算出的下游梯度,再用该算子的独立公式或局部数值差分验证。比较局部梯度时要给正确实现和待检查实现同一份上游梯度。若上游已经错了,不能只凭该节点输出错就认定它是根因。

局部检查时重点确认三件事:链式法则是否乘上了上游梯度;一个变量被多条路径使用时是否做了梯度累加;反向遍历顺序是否保证所有后继梯度已经汇总。覆盖写成赋值而不是累加,是微型自动微分引擎中最常见的错误之一。

核对维度、广播与清零

广播运算的前向过程会扩展维度,反向过程则必须沿被扩展的轴求和并还原原始形状。例如 (batch, features) 加上 (features,) 的偏置时,偏置梯度要沿批次轴归约。代码里的上游梯度两行为 [1, 2] 和 [3, 4],所以得到 [4, 6]。更一般地,对齐尾部维度后,对被扩展的轴求和,再恢复输入原形状。

排查时为每个节点记录 value.shape 和 grad.shape,并检查梯度最终是否与原变量形状一致。还要确认每次独立反向传播前已经清零梯度;若需要累积多个小批次,则只在预定边界清零。修复后应使用原失败样例、随机样例和不同维度样例做回归验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度错误排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通