AI 与工程数学 / 系统课时
狭长谷底为何让梯度来回摆动
狭长谷底为何让梯度来回摆动
训练模型时,损失函数可能形成一条又窄又长的谷地。普通梯度下降虽然每一步都朝局部最陡下降方向移动,却可能不断横穿谷底,形成之字形路径。本篇用一个可以手算和运行的二维二次函数,解释摆动的原因、学习率限制和改善方法。
学习目标
- 用 Hessian 矩阵的特征值解释狭长谷底与病态条件数。
- 计算二维梯度下降的前几步,判断摆动和收敛速度。
- 使用 Python 对比原始梯度下降与尺度归一化后的优化路径。
用二维二次函数构造狭长谷底
考虑下面的目标函数:
它的最小值为 。沿 方向移动一点,损失增加得很快;沿 方向移动相同距离,损失增加得慢得多。
固定损失值 ,可得到椭圆等高线:
这条椭圆的 半轴为 , 半轴为 ,因此谷地沿 方向延伸,宽度与长度相差 10 倍。

梯度与 Hessian 矩阵分别为:
Hessian 的两个特征值为 和 ,分别表示两个主方向上的曲率。对于这个正定二次函数,二范数条件数为:
条件数越大,两个方向的曲率差异越明显,使用同一个标量学习率就越困难。注意:椭圆半轴之比是 ,不是条件数本身。
梯度为什么会左右摆动
普通梯度下降使用更新规则:
对当前函数分别展开:
假设初始点为 ,学习率 ,两个方向的更新系数分别为 和 。
这意味着 每一步都会改变符号,且绝对值只缩小 10%; 则始终同号,每一步缩小 1.9%。优化点于是不断从谷底一侧跨到另一侧,同时缓慢向原点前进。
前四次更新可以直接算出:
| 迭代 | 损失 | ||
|---|---|---|---|
| 0 | 1.0000 | 10.0000 | 100.0000 |
| 1 | -0.9000 | 9.8100 | 88.6181 |
| 2 | 0.8100 | 9.6236 | 79.1278 |
| 3 | -0.7290 | 9.4407 | 71.1303 |
虽然损失每步都在下降,路径却明显不是直奔原点的直线。梯度指向的是当前位置的最陡下降方向,而非直接指向全局最优点的方向。

学习率为何受最陡方向限制
对这个正定二次函数,要使任意初始点的两个坐标都收敛到零,必须同时满足:
因此固定学习率的稳定范围为:
学习率 虽然稳定,但陡峭方向的更新系数为 ,会发生交替摆动。如果取 ,则 的更新系数为 ,其绝对值每步放大 10%,只要初始 不为零,就会发散。
反过来,取 可以让 一步归零,但此时 的更新系数为 ,平缓方向仍然下降缓慢。也就是说,学习率必须照顾曲率最大的方向,却无法同时让两个方向都快速推进。
对这个模型,最优的固定标量学习率(按最坏方向的渐近收敛因子衡量)为:
对应的最坏方向收缩因子约为 ,意味着误差幅值每步最多只能按约 1.98% 的速度缩小。这个结论适用于当前对称正定二次函数;不能直接推广为任意神经网络损失函数的最优学习率公式。
用 Python 复现路径与损失
下面的完整示例使用 Python 3.10+、NumPy 和 Matplotlib。先在终端安装依赖:
python -m pip install numpy matplotlib预期结果:命令成功退出,依赖可正常导入;安装日志与版本号随环境变化,不要求固定输出。
保存以下代码为 valley.py 并执行。程序同时绘制原始梯度下降路径,以及使用曲率缩放更新的路径。后一种方法在这个对角二次函数中恰好消除了两方向的尺度差异。
import numpy as np
import matplotlib.pyplot as plt
H = np.diag([100.0, 1.0])
start = np.array([1.0, 10.0])
def optimize(lr, preconditioner, steps=20):
point = start.copy()
history = [point.copy()]
for _ in range(steps):
# 预条件矩阵调整各方向梯度的实际步长
point = point - lr * (preconditioner @ (H @ point))
history.append(point.copy())
return np.array(history)
plain = optimize(0.019, np.eye(2))
scaled = optimize(1.0, np.diag([0.01, 1.0]))
# 统一使用原始坐标系,避免缩放坐标掩盖路径差异
x = np.linspace(-1.2, 1.2, 300)
y = np.linspace(-11.0, 11.0, 300)
X, Y = np.meshgrid(x, y)
Z = 0.5 * (100 * X**2 + Y**2)
fig, ax = plt.subplots(figsize=(8, 6))
ax.contour(X, Y, Z, levels=[1, 5, 20, 50, 100], colors='gray')
ax.plot(plain[:, 0], plain[:, 1], 'o-', label='Gradient descent')
ax.plot(scaled[:, 0], scaled[:, 1], 's-', label='Preconditioned')
ax.set(xlabel='x', ylabel='y', title='Narrow valley optimization')
ax.set_aspect('equal', adjustable='box')
ax.legend()
fig.tight_layout()
fig.savefig('valley.png', dpi=160)
plt.close(fig)
print('plain step 1:', np.round(plain[1], 3))
print('scaled step 1:', np.round(scaled[1], 3))运行命令:
python valley.py预期输出:
plain step 1: [-0.9 9.81]
scaled step 1: [0. 0.]同时生成 valley.png。普通梯度下降的路径会反复横穿谷地,而预条件更新直接到达原点。图片保存位置是执行命令时的当前工作目录,实际路径因环境而异。
这里的预条件矩阵是 ,因此属于针对已知 Hessian 的理想化演示。实际大型神经网络通常无法低成本计算完整 Hessian 及其逆矩阵,不能照搬这种一步收敛的结果。
实际训练中如何减轻之字形
当损失地形存在明显的方向尺度差异时,可以按成本从低到高考虑以下办法。
| 方法 | 对当前例子的作用 | 使用条件或局限 |
|---|---|---|
| 减小学习率 | 减少跨谷幅度 | 平缓方向也会更慢 |
| 特征标准化 | 缩小由输入尺度导致的曲率差异 | 不能消除全部参数耦合 |
| Momentum | 累积长期一致的方向,抑制交替振荡 | 动量与学习率仍需配合 |
| 自适应优化器 | 按历史梯度统计调整各参数步长 | 不保证解决所有病态或非凸问题 |
| 预条件方法 | 直接修正不同方向的尺度 | 需要额外曲率信息或近似计算 |
例如,对采用梯度下降的机器学习模型,若输入特征一列的典型数值为 ,另一列约为 ,可先在训练集上估计各列均值和标准差,再使用 做标准化。验证集与测试集必须复用训练集的统计量,避免数据泄漏。
需要区分两种情况:输入特征尺度不一致是病态曲率的常见来源,但即使特征已经标准化,参数相关性和模型结构仍可能形成狭长谷底。另外,本例是严格凸函数,只有一个最优点,出现之字形并不意味着陷入局部最小值。
最后可做两个检查:将示例的学习率改为 ,观察 振幅扩大;再改为 ,观察摆动消失但 更慢。由此可以判断,优化路径的摆动既与损失曲率有关,也与学习率相对于最大曲率的大小有关。