高等数学 / 系统课时

动量法

动量法

普通梯度下降只依据当前位置决定下一步,遇到狭长谷底时容易在陡峭方向反复摆动,却沿平缓方向前进缓慢。动量法把历史更新累积为速度,使持续一致的方向得到增强,并让频繁反向的分量相互抵消。

学习目标

  • 理解动量变量如何保存历史更新信息
  • 掌握动量法的更新公式和参数含义
  • 能判断动量过大、学习率过高导致的越界与震荡

为什么普通梯度会震荡

在狭长损失曲面中,一个方向曲率很大,另一个方向曲率很小。普通梯度下降为避免在陡峭方向发散,只能使用较小学习率,于是参数常呈锯齿形穿过谷底,并在真正需要前进的平缓方向上移动缓慢。

动量可以累积同向更新。若陡方向上的梯度反复变号,历史项可能部分抵消。实际能否减弱振荡仍取决于学习率和动量系数。

普通梯度下降与动量法在狭长谷底中的路径对比

动量更新规则

一种常用写法是先更新速度,再移动参数:

vt=βvt−1−η∇f(θt)v_t=\beta v_{t-1}-\eta\nabla f(\theta_t)
θt+1=θt+vt\theta_{t+1}=\theta_t+v_t

其中,η\eta 是学习率,决定当前梯度的影响强度;β\beta 是动量系数,控制历史速度保留比例,常取 0≤β<10\le\beta<1。若迭代从 t=0t=0 开始,则令 v−1=0v_{-1}=0。当 β=0\beta=0 时,公式退化为普通梯度下降。

不同资料可能把学习率放在速度外部,或把速度定义成梯度的指数平均。若学习率恒定,不带归一化的梯度累加 ut=βut−1+gtu_t=\beta u_{t-1}+g_t 可以用 vt=−ηutv_t=-\eta u_t 换写为上式。若当前梯度前另乘 1−β1-\beta,需要相应调整学习率才会得到相同更新。学习率变化时,把它放在累加器内外也可能产生不同历史权重。

主示例:观察历史方向的累积

下面优化一维函数 f(θ)=0.1θ2f(\theta)=0.1\theta^2。它的梯度为 0.2θ0.2\theta。从 θ=10\theta=10 出发执行 10 步,比较普通梯度下降和动量法的位置。

python
def gradient(theta):
    return 0.2 * theta

def standard_gradient_descent(steps, learning_rate):
    theta = 10.0
    for _ in range(steps):
        theta -= learning_rate * gradient(theta)
    return theta

def momentum_descent(steps, learning_rate, beta):
    theta = 10.0
    velocity = 0.0

    for _ in range(steps):
        # 旧速度保留 beta 比例,再叠加当前下降方向
        velocity = beta * velocity - learning_rate * gradient(theta)
        theta += velocity

    return theta

steps = 10
learning_rate = 0.1

print(f"standard: {standard_gradient_descent(steps, learning_rate):.4f}")
print(f"momentum: {momentum_descent(steps, learning_rate, 0.9):.4f}")

预期输出

text
standard: 8.1707
momentum: 3.0712

在这个平缓函数上,连续梯度方向一致,动量不断积累,因此 10 步后更接近最小值 00。不过动量可能越过最小值,后续再从另一侧返回,所以不能仅凭某一步的位置判断是否稳定。

参数选择与常见边界

参数或现象 含义与处理
β\beta 较小 历史影响弱,行为接近普通梯度下降
β\beta 较大 加速更明显,但可能越过最小值或长时间震荡
学习率过高 当前梯度冲击过强,动量会放大发散风险
小批量噪声 历史平均可平滑部分随机波动,但不能修复错误梯度

实践中常从 β=0.9\beta=0.9 附近开始尝试,再结合损失曲线调整学习率。若损失持续增大,应优先降低学习率;若曲线周期性大幅摆动,可同时降低学习率或动量系数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

动量法

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通