AI 与工程数学 / 系统课时

狭长谷底为何让梯度来回摆动

狭长谷底为何让梯度来回摆动

训练模型时,损失函数可能形成一条又窄又长的谷地。普通梯度下降虽然每一步都朝局部最陡下降方向移动,却可能不断横穿谷底,形成之字形路径。本篇用一个可以手算和运行的二维二次函数,解释摆动的原因、学习率限制和改善方法。

学习目标

  • 用 Hessian 矩阵的特征值解释狭长谷底与病态条件数。
  • 计算二维梯度下降的前几步,判断摆动和收敛速度。
  • 使用 Python 对比原始梯度下降与尺度归一化后的优化路径。

用二维二次函数构造狭长谷底

考虑下面的目标函数:

f(x,y)=12(100x2+y2)f(x,y)=\frac{1}{2}(100x^2+y^2)

它的最小值为 f(0,0)=0f(0,0)=0。沿 xx 方向移动一点,损失增加得很快;沿 yy 方向移动相同距离,损失增加得慢得多。

固定损失值 f(x,y)=50f(x,y)=50,可得到椭圆等高线:

100x2+y2=100100x^2+y^2=100

这条椭圆的 xx 半轴为 11,yy 半轴为 1010,因此谷地沿 yy 方向延伸,宽度与长度相差 10 倍。

二维二次函数狭长谷底的等高线与曲率关系

梯度与 Hessian 矩阵分别为:

∇f(x,y)=[100xy],H=[100001]\nabla f(x,y)=\begin{bmatrix}100x\\y\end{bmatrix},\qquad H=\begin{bmatrix}100&0\\0&1\end{bmatrix}

Hessian 的两个特征值为 100100 和 11,分别表示两个主方向上的曲率。对于这个正定二次函数,二范数条件数为:

κ(H)=λmax⁡λmin⁡=1001=100\kappa(H)=\frac{\lambda_{\max}}{\lambda_{\min}}=\frac{100}{1}=100

条件数越大,两个方向的曲率差异越明显,使用同一个标量学习率就越困难。注意:椭圆半轴之比是 κ=10\sqrt{\kappa}=10,不是条件数本身。

梯度为什么会左右摆动

普通梯度下降使用更新规则:

wt+1=wt−η∇f(wt)\boldsymbol{w}_{t+1}=\boldsymbol{w}_t-\eta\nabla f(\boldsymbol{w}_t)

对当前函数分别展开:

xt+1=(1−100η)xt,yt+1=(1−η)ytx_{t+1}=(1-100\eta)x_t,\qquad y_{t+1}=(1-\eta)y_t

假设初始点为 (1,10)(1,10),学习率 η=0.019\eta=0.019,两个方向的更新系数分别为 −0.9-0.9 和 0.9810.981。

这意味着 xx 每一步都会改变符号,且绝对值只缩小 10%;yy 则始终同号,每一步缩小 1.9%。优化点于是不断从谷底一侧跨到另一侧,同时缓慢向原点前进。

前四次更新可以直接算出:

迭代 tt xtx_t yty_t 损失 f(xt,yt)f(x_t,y_t)
0 1.0000 10.0000 100.0000
1 -0.9000 9.8100 88.6181
2 0.8100 9.6236 79.1278
3 -0.7290 9.4407 71.1303

虽然损失每步都在下降,路径却明显不是直奔原点的直线。梯度指向的是当前位置的最陡下降方向,而非直接指向全局最优点的方向。

病态二次函数梯度下降之字形路径

学习率为何受最陡方向限制

对这个正定二次函数,要使任意初始点的两个坐标都收敛到零,必须同时满足:

∣1−100η∣<1,∣1−η∣<1|1-100\eta|<1,\qquad |1-\eta|<1

因此固定学习率的稳定范围为:

0<η<2100=0.020<\eta<\frac{2}{100}=0.02

学习率 0.0190.019 虽然稳定,但陡峭方向的更新系数为 −0.9-0.9,会发生交替摆动。如果取 η=0.021\eta=0.021,则 xx 的更新系数为 −1.1-1.1,其绝对值每步放大 10%,只要初始 xx 不为零,就会发散。

反过来,取 η=0.01\eta=0.01 可以让 xx 一步归零,但此时 yy 的更新系数为 0.990.99,平缓方向仍然下降缓慢。也就是说,学习率必须照顾曲率最大的方向,却无法同时让两个方向都快速推进。

对这个模型,最优的固定标量学习率(按最坏方向的渐近收敛因子衡量)为:

η∗=2λmax⁡+λmin⁡=2101≈0.019802\eta^*=\frac{2}{\lambda_{\max}+\lambda_{\min}}=\frac{2}{101}\approx0.019802

对应的最坏方向收缩因子约为 0.98020.9802,意味着误差幅值每步最多只能按约 1.98% 的速度缩小。这个结论适用于当前对称正定二次函数;不能直接推广为任意神经网络损失函数的最优学习率公式。

用 Python 复现路径与损失

下面的完整示例使用 Python 3.10+、NumPy 和 Matplotlib。先在终端安装依赖:

bash
python -m pip install numpy matplotlib

预期结果:命令成功退出,依赖可正常导入;安装日志与版本号随环境变化,不要求固定输出。

保存以下代码为 valley.py 并执行。程序同时绘制原始梯度下降路径,以及使用曲率缩放更新的路径。后一种方法在这个对角二次函数中恰好消除了两方向的尺度差异。

python
import numpy as np
import matplotlib.pyplot as plt

H = np.diag([100.0, 1.0])
start = np.array([1.0, 10.0])


def optimize(lr, preconditioner, steps=20):
    point = start.copy()
    history = [point.copy()]
    for _ in range(steps):
        # 预条件矩阵调整各方向梯度的实际步长
        point = point - lr * (preconditioner @ (H @ point))
        history.append(point.copy())
    return np.array(history)


plain = optimize(0.019, np.eye(2))
scaled = optimize(1.0, np.diag([0.01, 1.0]))

# 统一使用原始坐标系,避免缩放坐标掩盖路径差异
x = np.linspace(-1.2, 1.2, 300)
y = np.linspace(-11.0, 11.0, 300)
X, Y = np.meshgrid(x, y)
Z = 0.5 * (100 * X**2 + Y**2)

fig, ax = plt.subplots(figsize=(8, 6))
ax.contour(X, Y, Z, levels=[1, 5, 20, 50, 100], colors='gray')
ax.plot(plain[:, 0], plain[:, 1], 'o-', label='Gradient descent')
ax.plot(scaled[:, 0], scaled[:, 1], 's-', label='Preconditioned')
ax.set(xlabel='x', ylabel='y', title='Narrow valley optimization')
ax.set_aspect('equal', adjustable='box')
ax.legend()
fig.tight_layout()
fig.savefig('valley.png', dpi=160)
plt.close(fig)

print('plain step 1:', np.round(plain[1], 3))
print('scaled step 1:', np.round(scaled[1], 3))

运行命令:

bash
python valley.py

预期输出:

text
plain step 1: [-0.9   9.81]
scaled step 1: [0. 0.]

同时生成 valley.png。普通梯度下降的路径会反复横穿谷地,而预条件更新直接到达原点。图片保存位置是执行命令时的当前工作目录,实际路径因环境而异。

这里的预条件矩阵是 H−1H^{-1},因此属于针对已知 Hessian 的理想化演示。实际大型神经网络通常无法低成本计算完整 Hessian 及其逆矩阵,不能照搬这种一步收敛的结果。

实际训练中如何减轻之字形

当损失地形存在明显的方向尺度差异时,可以按成本从低到高考虑以下办法。

方法 对当前例子的作用 使用条件或局限
减小学习率 减少跨谷幅度 平缓方向也会更慢
特征标准化 缩小由输入尺度导致的曲率差异 不能消除全部参数耦合
Momentum 累积长期一致的方向,抑制交替振荡 动量与学习率仍需配合
自适应优化器 按历史梯度统计调整各参数步长 不保证解决所有病态或非凸问题
预条件方法 直接修正不同方向的尺度 需要额外曲率信息或近似计算

例如,对采用梯度下降的机器学习模型,若输入特征一列的典型数值为 10310^3,另一列约为 11,可先在训练集上估计各列均值和标准差,再使用 z=(x−μ)/σz=(x-\mu)/\sigma 做标准化。验证集与测试集必须复用训练集的统计量,避免数据泄漏。

需要区分两种情况:输入特征尺度不一致是病态曲率的常见来源,但即使特征已经标准化,参数相关性和模型结构仍可能形成狭长谷底。另外,本例是严格凸函数,只有一个最优点,出现之字形并不意味着陷入局部最小值。

最后可做两个检查:将示例的学习率改为 0.0210.021,观察 xx 振幅扩大;再改为 0.0050.005,观察摆动消失但 yy 更慢。由此可以判断,优化路径的摆动既与损失曲率有关,也与学习率相对于最大曲率的大小有关。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

狭长谷底为何让梯度来回摆动

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通