AI 与工程数学 / 系统课时

动量法如何减少更新方向震荡

动量法如何减少更新方向震荡

在不同方向曲率相差很大的损失面上,普通 SGD 容易横跨狭长谷底反复摆动,同时沿谷底前进得很慢。动量法把过去若干步的更新方向累积起来,削弱高频反向震荡,并保留长期一致的下降趋势。

学习目标

  • 写出 SGD 与 Momentum 的参数更新式,并理解速度变量的作用。
  • 在狭长二次函数上比较两种方法的迭代轨迹与震荡次数。
  • 根据动量系数和学习率判断常见的过冲与收敛问题。

狭长谷底为什么容易产生之字形路径

考虑二维目标函数:

f(x,y)=12(100x2+y2)f(x,y)=\frac{1}{2}(100x^2+y^2)

梯度为 ∇f=(100x,y)\nabla f=(100x,y)。沿 xx 方向的曲率是沿 yy 方向的 100 倍,因此只要当前位置的 xx 不为 0,梯度在 xx 方向的分量通常会远大于 yy 方向。

普通 SGD 使用

θt+1=θt−η∇f(θt)\theta_{t+1}=\theta_t-\eta\nabla f(\theta_t)

若从 (1,1)(1,1) 出发并取 η=0.015\eta=0.015,第一次更新得到 x1=−0.5x_1=-0.5、y1=0.985y_1=0.985。下一步 xx 又会被梯度推回正侧,于是轨迹不断横穿谷底;而 yy 每次只缩小约 1.5%,沿谷底方向的推进明显更慢。

普通 SGD 与 Momentum 在狭长谷底中的更新路径对比

Momentum 用历史速度抵消高频震荡

经典 Heavy-Ball Momentum 为每个参数维护速度 vtv_t:

vt=βvt−1−η∇f(θt)v_t=\beta v_{t-1}-\eta\nabla f(\theta_t)
θt+1=θt+vt\theta_{t+1}=\theta_t+v_t

其中 β\beta 是动量系数,常见起点为 0.9。如果某个方向连续多步梯度同号,速度会逐步累积;如果梯度每一步都换号,当前梯度会与先前速度部分抵消。因此在狭长谷底中,横向的快速正负切换被抑制,而沿谷底长期同向的分量得以保留。

例如连续两步某方向梯度分别为 +10、-10,取 β=0.9\beta=0.9、η=0.01\eta=0.01。没有动量时两次位移分别是 -0.10 与 +0.10;使用 Momentum 后,第一步速度为 -0.10,第二步速度变为 0.9×(-0.10)+0.10=0.01,反向位移只剩 +0.01。

用数值实验比较两种路径

下面的 Python 示例不依赖第三方库,在同一个二次函数上运行 100 步。为使两种算法处于各自稳定的步长范围,SGD 使用学习率 0.015,Momentum 使用学习率 0.0015 和动量系数 0.9。程序还统计 xx 方向更新位移发生符号反转的次数,用它近似观察横穿谷底的震荡频率。

python
def optimize(method, steps=100):
    x, y = 1.0, 1.0
    vx, vy = 0.0, 0.0
    previous_dx = None
    direction_flips = 0

    for _ in range(steps):
        gx, gy = 100.0 * x, y

        if method == "SGD":
            eta = 0.015
            dx, dy = -eta * gx, -eta * gy
        else:
            eta = 0.0015
            beta = 0.9
            vx = beta * vx - eta * gx
            vy = beta * vy - eta * gy
            dx, dy = vx, vy

        # 统计高曲率 x 方向的更新是否再次反向。
        if previous_dx is not None and dx * previous_dx < 0:
            direction_flips += 1
        previous_dx = dx

        x += dx
        y += dy

    loss = 0.5 * (100.0 * x * x + y * y)
    return x, y, loss, direction_flips


for name in ("SGD", "Momentum"):
    x, y, loss, flips = optimize(name)
    print(f"{name}: x={x:.6f}, y={y:.6f}, loss={loss:.6f}, flips={flips}")

预期输出:

text
SGD: x=0.000000, y=0.220609, loss=0.024334, flips=99
Momentum: x=-0.002343, y=0.204312, loss=0.021146, flips=12

这里 SGD 的 xx 几乎每一步都改变更新方向,共出现 99 次反转;Momentum 只有 12 次。最终损失也略低,但这个结果不能理解为 Momentum 在任意相同学习率下都一定更快,因为两种方法的稳定学习率范围并不相同。

调整动量时重点看过冲和阻尼

beta=0.9 是常用起点,但不是固定答案。较大的 β\beta 会让历史速度保留更久:在稳定方向上可以加速,在接近最优点时也可能因为惯性继续冲过谷底。若把 β\beta 从 0.9 提高到 0.99,历史速度的衰减速度会明显变慢,通常需要重新降低学习率。

排查时可以按两个现象判断:如果损失连续增大甚至出现 inf,先把学习率降低 2~10 倍;如果损失总体下降,但最优点附近长期往返且振幅衰减很慢,则同时尝试降低学习率或把动量从 0.9 调到 0.8。反过来,如果轨迹稳定却沿平坦方向推进缓慢,可以在保持损失不发散的前提下逐步提高动量或学习率。

动量真正减少的是更新方向中的高频反转,而不是保证每一步都直接朝最优点移动。判断它是否有效,应同时观察损失曲线、参数轨迹和方向反转,而不是只看最后一次迭代的参数值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

动量法如何减少更新方向震荡

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通