高等数学 / 系统课时

自适应学习率

自适应学习率

固定学习率会让所有参数共享同一更新尺度,难以同时照顾稀疏特征、陡峭方向与平坦方向。本课从历史梯度出发,解释 AdaGrad、RMSProp 和 Adam 如何为每个参数自动调整步长,并通过可运行示例比较三者的更新结果。

学习目标

  • 理解逐参数学习率与历史梯度统计量的关系
  • 说清 AdaGrad、RMSProp 和 Adam 的核心差异
  • 能根据训练现象选择方法并识别常见调参误区

固定学习率的问题

梯度下降使用统一学习率 η\eta:

θt=θt−1−ηgt\theta_t=\theta_{t-1}-\eta g_t

当不同参数的梯度尺度差异很大时,同一个 η\eta 往往顾此失彼。学习率过大,陡峭方向会震荡;学习率过小,平坦方向又前进缓慢。自适应方法的共同思路,是为每个参数维护自己的历史统计量,再把全局学习率缩放为逐参数步长。

三种方法如何调整步长

AdaGrad 累加所有历史平方梯度:

rt=rt−1+gt⊙gtr_t=r_{t-1}+g_t\odot g_t
θt=θt−1−ηgtrt+ε\theta_t=\theta_{t-1}-\eta\frac{g_t}{\sqrt{r_t}+\varepsilon}

某个参数过去梯度越大,之后的有效步长越小。它适合稀疏特征,但累计量只增不减,训练较久后学习率可能衰减过度。RMSProp 用指数移动平均替代永久累加:

vt=ρvt−1+(1−ρ)gt⊙gtv_t=\rho v_{t-1}+(1-\rho)g_t\odot g_t

其参数更新仍按 gt/(vt+ε)g_t/(\sqrt{v_t}+\varepsilon) 缩放,因此更关注近期梯度,能避免 AdaGrad 的步长持续缩小。

Adam 在此基础上同时维护一阶动量 mtm_t 和二阶矩 vtv_t:

mt=β1mt−1+(1−β1)gt,vt=β2vt−1+(1−β2)gt⊙gtm_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\qquad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t\odot g_t

从零初始化且 tt 从 11 计数,使用 m^t=mt/(1−β1t)\hat m_t=m_t/(1-\beta_1^t)、v^t=vt/(1−β2t)\hat v_t=v_t/(1-\beta_2^t)。之后每步以 η m^t/(v^t+ε)\eta\,\hat m_t/(\sqrt{\hat v_t}+\varepsilon) 更新。这里 ε\varepsilon 防止分母过小,实际框架在其放置位置等细节上可能不同。直观上,动量决定“朝哪个方向继续前进”,平方梯度决定“每个参数走多大一步”。

AdaGrad、RMSProp 与 Adam 的历史梯度机制对比

选择时可先用 Adam 作为稳健基线;稀疏线性模型可考虑 AdaGrad;需要更直接控制近期梯度尺度时可用 RMSProp。无论选择哪种方法,基础学习率仍然重要,自适应并不等于无需调参。

可运行示例:比较逐参数更新

下面用同一组二维梯度分别执行三种更新。第二个维度的梯度始终更大,它的梯度始终是第一维的十倍。平方统计量也近似按平方比例缩放,因此这组输入中,两维的实际更新量几乎相同,而有效学习率不同。

python
import numpy as np

# 使用同一组梯度,只比较三种更新规则本身
grads = [
    np.array([0.2, 2.0]),
    np.array([0.1, 1.0]),
    np.array([0.05, 0.5]),
]

def run_adagrad():
    theta = np.array([1.0, -1.0])
    acc = np.zeros(2)
    for g in grads:
        # AdaGrad 的平方梯度累计量不会衰减
        acc += g * g
        theta -= 0.1 * g / (np.sqrt(acc) + 1e-8)
    return theta

def run_rmsprop():
    theta = np.array([1.0, -1.0])
    avg_sq = np.zeros(2)
    for g in grads:
        # 指数衰减让近期梯度拥有更高权重
        avg_sq = 0.9 * avg_sq + 0.1 * g * g
        theta -= 0.1 * g / (np.sqrt(avg_sq) + 1e-8)
    return theta

def run_adam():
    theta = np.array([1.0, -1.0])
    m = np.zeros(2)
    v = np.zeros(2)
    for t, g in enumerate(grads, start=1):
        m = 0.9 * m + 0.1 * g
        v = 0.999 * v + 0.001 * g * g
        # 偏差修正避免训练初期统计量被低估
        m_hat = m / (1 - 0.9 ** t)
        v_hat = v / (1 - 0.999 ** t)
        theta -= 0.1 * m_hat / (np.sqrt(v_hat) + 1e-8)
    return theta

for name, fn in [
    ("AdaGrad", run_adagrad),
    ("RMSProp", run_rmsprop),
    ("Adam", run_adam),
]:
    print(f"{name:7s}", np.round(fn(), 6))

预期输出

text
AdaGrad [ 0.833457 -1.166543]
RMSProp [ 0.460867 -1.539133]
Adam    [ 0.722512 -1.277488]

结果不同并不代表某种方法绝对更优,因为这里展示的是更新规则,而不是完整损失函数上的收敛质量。实际训练应同时观察损失曲线、验证集指标、梯度范数和参数更新幅度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

自适应学习率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通