高等数学 / 系统课时
曲率与学习率
曲率与学习率
学习率并不是越大越快。它必须同时适应损失曲面最陡和最平的方向;当曲率差异很大时,更新会在峡谷两侧来回摆动,导致收敛缓慢甚至发散。本课将用二次函数说明这种限制,并给出可操作的选择原则。
学习目标
- 解释高曲率和低曲率方向对学习率的不同要求
- 用海森矩阵特征值理解稳定步长与病态程度
- 根据训练现象判断学习率过大、过小或受峡谷限制
曲率如何限制步长
在参数点附近,损失函数可以近似为二次型。若只看某个特征方向,局部模型可写成:
其中 表示该方向的曲率。梯度下降更新为:
当 且初始误差非零时,要让误差逐步缩小,需要 ,即 。若 ,该分量不会变化。若 ,正步长会放大非零分量。对多维正定二次函数,所有方向收敛的条件是 。一般非线性损失的海森矩阵会随位置变化,这个界只描述当前二次模型。

病态峡谷为什么收敛慢
若海森矩阵正定,其最小、最大特征值分别为 和 ,常用条件数衡量曲率差异:
当 很大时,陡峭方向要求较小学习率,平坦方向却需要较大步长才能快速前进。统一学习率只能优先保证陡峭方向稳定,此时低曲率方向的误差倍率接近 ,所以进展缓慢。当某个方向满足 时,该方向还会交替变号,但振幅下降。这就是病态峡谷中“看似一直更新,实际进展很慢”的原因。
主示例:同一曲面上的两种学习率
下面在函数 上运行八步梯度下降。该曲面的两个曲率分别为 和 ,从给定起点收敛要求学习率在 与 之间。恰好取 时, 分量每步变号且保持原来的幅值。
def loss(x: float, y: float) -> float:
return 0.5 * (100 * x * x + y * y)
def run(learning_rate: float, steps: int = 8) -> tuple[float, float, float]:
x, y = 1.0, 1.0
for _ in range(steps):
# 高曲率方向的梯度是 100x,最容易因步长过大而失稳
grad_x = 100 * x
grad_y = y
x -= learning_rate * grad_x
y -= learning_rate * grad_y
return x, y, loss(x, y)
for eta in (0.01, 0.03):
x, y, value = run(eta)
print(f"eta={eta:.2f} x={x:.6f} y={y:.6f} loss={value:.6f}")预期输出
eta=0.01 x=0.000000 y=0.922745 loss=0.425729
eta=0.03 x=256.000000 y=0.783743 loss=3276800.307127学习率 满足稳定条件,高曲率方向迅速衰减;学习率 超过上限后, 每步按 倍放大,损失快速爆炸。注意,稳定不等于高效:较小学习率虽然安全,但低曲率方向仍然下降缓慢。
选择学习率的实用原则
先用损失曲线判断现象。损失持续上升、出现剧烈锯齿或数值溢出,通常说明学习率过大;损失稳定但下降极慢,可能是学习率过小,也可能是曲率差异过大。此时可使用学习率预热、衰减、动量或自适应优化器,减轻统一步长对不同方向的限制。
学习率调整应以验证结果为准。一次只改变一个关键因素,记录初始损失、下降速度和是否震荡;若批量大小、归一化方式或模型结构发生变化,也应重新检查合适的学习率范围。