高等数学 / 系统课时

曲率与学习率

曲率与学习率

学习率并不是越大越快。它必须同时适应损失曲面最陡和最平的方向;当曲率差异很大时,更新会在峡谷两侧来回摆动,导致收敛缓慢甚至发散。本课将用二次函数说明这种限制,并给出可操作的选择原则。

学习目标

  • 解释高曲率和低曲率方向对学习率的不同要求
  • 用海森矩阵特征值理解稳定步长与病态程度
  • 根据训练现象判断学习率过大、过小或受峡谷限制

曲率如何限制步长

在参数点附近,损失函数可以近似为二次型。若只看某个特征方向,局部模型可写成:

f(z)=12λz2f(z)=\frac{1}{2}\lambda z^2

其中 λ\lambda 表示该方向的曲率。梯度下降更新为:

zk+1=zk−ηλzk=(1−ηλ)zkz_{k+1}=z_k-\eta\lambda z_k=(1-\eta\lambda)z_k

当 λ>0\lambda>0 且初始误差非零时,要让误差逐步缩小,需要 ∣1−ηλ∣<1|1-\eta\lambda|<1,即 0<η<2/λ0<\eta<2/\lambda。若 λ=0\lambda=0,该分量不会变化。若 λ<0\lambda<0,正步长会放大非零分量。对多维正定二次函数,所有方向收敛的条件是 0<η<2/λmax⁡0<\eta<2/\lambda_{\max}。一般非线性损失的海森矩阵会随位置变化,这个界只描述当前二次模型。

高低曲率方向与学习率稳定性示意图

病态峡谷为什么收敛慢

若海森矩阵正定,其最小、最大特征值分别为 λmin⁡\lambda_{\min} 和 λmax⁡\lambda_{\max},常用条件数衡量曲率差异:

κ=λmax⁡λmin⁡\kappa=\frac{\lambda_{\max}}{\lambda_{\min}}

当 κ\kappa 很大时,陡峭方向要求较小学习率,平坦方向却需要较大步长才能快速前进。统一学习率只能优先保证陡峭方向稳定,此时低曲率方向的误差倍率接近 11,所以进展缓慢。当某个方向满足 1<ηλ<21<\eta\lambda<2 时,该方向还会交替变号,但振幅下降。这就是病态峡谷中“看似一直更新,实际进展很慢”的原因。

主示例:同一曲面上的两种学习率

下面在函数 f(x,y)=12(100x2+y2)f(x,y)=\frac{1}{2}(100x^2+y^2) 上运行八步梯度下降。该曲面的两个曲率分别为 100100 和 11,从给定起点收敛要求学习率在 00 与 0.020.02 之间。恰好取 0.020.02 时,xx 分量每步变号且保持原来的幅值。

python
def loss(x: float, y: float) -> float:
    return 0.5 * (100 * x * x + y * y)

def run(learning_rate: float, steps: int = 8) -> tuple[float, float, float]:
    x, y = 1.0, 1.0

    for _ in range(steps):
        # 高曲率方向的梯度是 100x,最容易因步长过大而失稳
        grad_x = 100 * x
        grad_y = y
        x -= learning_rate * grad_x
        y -= learning_rate * grad_y

    return x, y, loss(x, y)

for eta in (0.01, 0.03):
    x, y, value = run(eta)
    print(f"eta={eta:.2f} x={x:.6f} y={y:.6f} loss={value:.6f}")

预期输出

text
eta=0.01 x=0.000000 y=0.922745 loss=0.425729
eta=0.03 x=256.000000 y=0.783743 loss=3276800.307127

学习率 0.010.01 满足稳定条件,高曲率方向迅速衰减;学习率 0.030.03 超过上限后,xx 每步按 −2-2 倍放大,损失快速爆炸。注意,稳定不等于高效:较小学习率虽然安全,但低曲率方向仍然下降缓慢。

选择学习率的实用原则

先用损失曲线判断现象。损失持续上升、出现剧烈锯齿或数值溢出,通常说明学习率过大;损失稳定但下降极慢,可能是学习率过小,也可能是曲率差异过大。此时可使用学习率预热、衰减、动量或自适应优化器,减轻统一步长对不同方向的限制。

学习率调整应以验证结果为准。一次只改变一个关键因素,记录初始损失、下降速度和是否震荡;若批量大小、归一化方式或模型结构发生变化,也应重新检查合适的学习率范围。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

曲率与学习率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通