AI 与工程数学 / 系统课时
用有限差分检查解析梯度
用有限差分检查解析梯度
手写梯度公式时,即使程序正常运行,也可能因为符号、系数或索引错误而得到错误的更新方向。本课使用 Python 和 NumPy 实现中心差分检查器,逐项比较解析梯度与数值梯度,并通过改变步长观察截断误差和浮点误差,判断求导实现是否可信。
学习目标
- 理解中心差分如何近似偏导数,以及步长对精度的影响。
- 实现可运行的梯度检查器,定位具体出错的参数分量。
- 使用相对误差与不同步长的测试结果区分公式错误和数值误差。
中心差分为什么能检查梯度
假设目标函数 接收一个 维参数向量,解析梯度是对每个参数求偏导后得到的向量。数值梯度则不需要知道求导公式,只需要反复调用目标函数。
检查第 个参数时,固定其他参数,仅改变 :
其中 是第 个位置为 1、其他位置为 0 的单位向量, 是扰动步长。
例如 ,在 处取 ,中心差分结果为:
这与解析导数 一致。对于一般光滑函数,中心差分的截断误差为 ,通常比前向差分的 更小,但每个参数需要两次函数计算。
实现一个可复用的梯度检查器
选用二元函数 。它的解析梯度是 。在 处,正确梯度应为 。
下面的示例适用于 Python 3.9 及以上版本和 NumPy 1.24 及以上版本。先在已安装 Python 的终端执行:
python -m pip install "numpy>=1.24,<3"预期结果:命令成功退出,NumPy 可以被导入;下载进度与具体版本取决于环境。
将以下代码保存为 gradient_check.py:
import numpy as np
def numerical_gradient(f, x, h=1e-5):
# 使用副本扰动参数,避免修改调用者传入的数据
x = np.asarray(x, dtype=np.float64).copy()
grad = np.zeros_like(x)
for index in np.ndindex(x.shape):
original = x[index]
x[index] = original + h
f_plus = float(f(x))
x[index] = original - h
f_minus = float(f(x))
x[index] = original
grad[index] = (f_plus - f_minus) / (2.0 * h)
return grad
def check_gradient(f, grad_fn, x, h=1e-5):
if not np.isfinite(h) or h <= 0:
raise ValueError("h must be positive and finite")
x = np.asarray(x, dtype=np.float64)
analytic = np.asarray(grad_fn(x), dtype=np.float64)
numeric = numerical_gradient(f, x, h)
if analytic.shape != x.shape:
raise ValueError("gradient shape does not match parameters")
# 分母设置尺度下限,避免零梯度附近直接除以零
difference = np.abs(analytic - numeric)
scale = np.maximum(1.0, np.maximum(np.abs(analytic), np.abs(numeric)))
relative_error = difference / scale
return analytic, numeric, relative_error
def objective(x):
return (x[0] - 2.0) ** 2 + 3.0 * (x[1] + 1.0) ** 2
def analytic_gradient(x):
return np.array([2.0 * (x[0] - 2.0), 6.0 * (x[1] + 1.0)])
if __name__ == "__main__":
point = np.array([3.0, -2.0])
a, n, errors = check_gradient(objective, analytic_gradient, point)
print("analytic:", a)
print("numeric: ", np.round(n, 6))
print("max error:", f"{np.max(errors):.3e}")
print("passed:", bool(np.all(errors < 1e-6)))运行命令:
python gradient_check.py预期输出:
analytic: [ 2. -6.]
numeric: [ 2. -6.]
max error: 约 1e-11 或更小
passed: Truemax error 的实际数值随 NumPy 版本和浮点运算环境略有不同。程序使用的是逐分量归一化误差:
这里 是解析梯度, 是数值梯度。这个指标在梯度接近零时相当于绝对误差,在梯度较大时相当于相对误差,避免单纯除以接近零的梯度值。示例中的 1e-6 是双精度、光滑小函数的教学检查阈值,不是所有模型通用的标准。
改变步长观察误差
步长不是越小越好。中心差分有两类主要误差:一是有限步长带来的截断误差,数量级约为 ;二是两次接近的函数值相减造成的浮点舍入误差,其影响可随 缩小而放大。
使用非二次函数 ,在 处对比不同步长。真实导数是 。在理想双精度浮点环境下,常见的结果规律如下:
| 步长 | 典型误差量级 | 主要现象 |
|---|---|---|
| 截断误差明显 | ||
| 精度明显改善 | ||
| 通常较准确 | ||
| 左右 | 浮点相消开始显现 | |
| 左右 | 舍入误差可能主导 |
表中是典型量级,并非所有平台的固定输出。可以把下面的实验片段追加到 gradient_check.py 文件末尾现有主程序块中,依赖文件开头已导入的 numpy 及已定义的 numerical_gradient:
# 比较同一函数在不同扰动尺度下的数值误差
for step in [1e-1, 1e-3, 1e-5, 1e-8, 1e-12]:
result = numerical_gradient(
lambda z: np.sin(z[0]), np.array([1.0]), step
)[0]
error = abs(result - np.cos(1.0))
print(f"h={step:.0e}, error={error:.3e}")预期结果:执行 python gradient_check.py 后,原有检查输出后面增加五行步长实验数据;通常误差先下降,再在极小步长下反弹。具体误差以实际运行结果为准。
梯度检查失败时如何定位
假设错误地把第二项的系数 3 忽略,将解析梯度写成 。在 处,解析值变成 ,而中心差分仍接近 ,第二分量的归一化误差约为 。这种远大于 的误差,通常不是步长导致的。
建议按以下顺序排查:
- 检查坐标索引:确保
grad[i]与第 个参数对应,特别注意矩阵展平、批量维度和广播操作。 - 检查求导系数和符号:逐项核对平方项的系数、链式法则与负号,而不是直接调整学习率。
- 更换步长:分别测试 、、;如果误差随步长平滑变化,优先考虑数值精度问题。
- 检查函数是否确定:梯度检查期间关闭随机扰动,固定测试数据,避免每次目标函数调用得到不同结果。
- 避开不可导点:例如 ReLU 在零点不可导,中心差分可能得到两侧斜率的平均值,与框架采用的次梯度约定不同。
神经网络中的梯度检查还应使用小批量数据、双精度计算,并在固定参数下分别计算解析梯度与数值梯度。若包含 Dropout,应在检查时关闭随机失活;若存在 Batch Normalization,应固定输入与运行模式,避免状态更新干扰函数值。
中心差分计算 维梯度需要约 次目标函数求值,因此不适合每次训练迭代都执行。对于百万参数模型,可随机抽取少量参数坐标检查,或选用一个缩小后的模型进行完整检查。
一次可靠的梯度核对至少要满足三个条件:逐分量误差低于合理阈值、相邻步长下结果一致、检查期间目标函数保持确定性。满足这些条件后,再把解析梯度用于梯度下降或反向传播训练。