高等数学 / 系统课时
梯度错误排查
梯度错误排查
反向传播一旦写错,模型可能仍能运行,却会在训练中表现为损失不降、梯度异常或结果漂移。本课给出一条可复现的排查路径:先用数值梯度确认整体错误,再缩小到局部节点,最后核对维度、广播与梯度累加。
学习目标
- 使用中心差分计算数值梯度,并判断解析梯度是否可信
- 通过局部节点检查定位第一个产生错误梯度的算子
- 识别维度、广播、梯度累加和清零相关的实现问题
先建立排查顺序
不要一开始就逐行阅读整个反向传播实现。更高效的顺序是:固定随机种子和最小输入,确认前向结果正确;再做整体梯度检查;若失败,沿计算图从输出向输入逐节点检查;最后核对形状、广播归约、梯度累加和清零时机。

这条路径像漏斗:前面的检查覆盖范围大,后面的检查定位更精确。每次只保留一个变量,避免同时更换输入、算子和优化器,否则难以确认修复是否真正有效。
用数值梯度验证整体结果
对第 个输入分量,令 只在该位置为 。中心差分以 近似该分量的导数。解析与数值结果按分量比较,接近零时看绝对容差,尺度较大时也要看相对容差。
下面的程序检查函数 的解析梯度。它会逐个扰动输入分量,并验证解析结果与数值结果是否一致。
import numpy as np
def f(x: np.ndarray) -> float:
return float(np.sum(x ** 3))
def analytic_grad(x: np.ndarray) -> np.ndarray:
return 3 * x ** 2
def numerical_grad(func, x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
if not np.isfinite(eps) or eps <= 0:
raise ValueError("eps must be finite and positive")
x = np.asarray(x, dtype=np.float64)
grad = np.empty_like(x)
# 逐个索引扰动,保留输入数组的形状和原值
for index in np.ndindex(x.shape):
plus, minus = x.copy(), x.copy()
plus[index] += eps
minus[index] -= eps
if not (minus[index] < x[index] < plus[index]):
raise ValueError("perturbation is not representable")
grad[index] = (func(plus) - func(minus)) / (2 * eps)
return grad
def main() -> None:
x = np.array([1.0, -2.0, 0.5])
analytic = analytic_grad(x)
numeric = numerical_grad(f, x)
# allclose 同时考虑绝对误差和相对误差
print("analytic:", np.round(analytic, 6))
print("numeric :", np.round(numeric, 6))
print("check:", np.allclose(numeric, analytic, rtol=1e-5, atol=1e-7))
matrix = np.array([[1, -2], [0, 3]])
assert np.allclose(numerical_grad(f, matrix), analytic_grad(matrix),
rtol=1e-5, atol=1e-7)
upstream = np.array([[1.0, 2.0], [3.0, 4.0]])
print("bias grad:", upstream.sum(axis=0))
if __name__ == "__main__":
main()预期输出
analytic: [ 3. 12. 0.75]
numeric : [ 3. 12. 0.75]
check: True
bias grad: [4. 6.]若检查失败,先尝试把 调整到 或 。过大时截断误差明显,过小时浮点舍入误差会放大。ReLU、最大值等不可导点附近也可能出现差异,应换用远离边界的随机输入复测。
缩小到局部节点
整体梯度失败后,从损失节点开始反向检查每个算子。对当前节点记录前向输入、前向输出、上游梯度和计算出的下游梯度,再用该算子的独立公式或局部数值差分验证。比较局部梯度时要给正确实现和待检查实现同一份上游梯度。若上游已经错了,不能只凭该节点输出错就认定它是根因。
局部检查时重点确认三件事:链式法则是否乘上了上游梯度;一个变量被多条路径使用时是否做了梯度累加;反向遍历顺序是否保证所有后继梯度已经汇总。覆盖写成赋值而不是累加,是微型自动微分引擎中最常见的错误之一。
核对维度、广播与清零
广播运算的前向过程会扩展维度,反向过程则必须沿被扩展的轴求和并还原原始形状。例如 (batch, features) 加上 (features,) 的偏置时,偏置梯度要沿批次轴归约。代码里的上游梯度两行为 [1, 2] 和 [3, 4],所以得到 [4, 6]。更一般地,对齐尾部维度后,对被扩展的轴求和,再恢复输入原形状。
排查时为每个节点记录 value.shape 和 grad.shape,并检查梯度最终是否与原变量形状一致。还要确认每次独立反向传播前已经清零梯度;若需要累积多个小批次,则只在预定边界清零。修复后应使用原失败样例、随机样例和不同维度样例做回归验证。