机器学习与深度学习 / 系统课时

设置学习率

设置学习率

学习率控制每次参数更新的步长。步长过大时损失可能振荡甚至发散,过小时又会在有限 epoch 内几乎不动。可靠做法是先用数量级搜索找到可训练区间,再决定保持常数、按步数衰减,或在验证集停滞时降低学习率。

学习目标

  • 根据 loss 曲线识别学习率过大、过小和基本合适的表现
  • 用数量级搜索确定初始学习率,而不是只改最后一位小数
  • 在 Keras 中配置固定学习率、指数衰减和按验证集降学习率

先从曲线判断步长是否合理

同一个模型在不同学习率下,前几个 epoch 就可能出现明显差异。下面数值是示例观察,不代表所有数据集都会得到相同 loss,但可以作为排查模式。

初始学习率 示例 loss 变化 判断 下一步
1e-1 0.69 → 1.20 → 0.88 更新过猛、明显振荡 降到 1e-2 或更低
1e-5 0.69 → 0.68 → 0.67 能下降但过慢 提高 3~10 倍
1e-3 0.69 → 0.52 → 0.41 连续下降且较平稳 继续观察验证集

若 loss 直接变成 nan,还要同时检查输入数据、归一化和梯度异常,不能只把责任归到学习率。若训练集持续下降而验证集恶化,问题更可能是过拟合,而不是步长单独造成的。

用数量级搜索找初始值

不要从 0.0010 改成 0.0011 逐点试。更高效的第一轮是测试 1e-2、3e-3、1e-3、3e-4、1e-4,每组只跑 3~5 个 epoch,并固定随机种子、batch size 和数据划分。

Adam 常可从 1e-3 附近建立基线,Momentum SGD 可先试 1e-2。若最优候选落在 1e-3 与 3e-4 之间,再做第二轮细化,例如测试 8e-4、6e-4、4e-4。这样两轮通常比一次性密集扫几十个值更省训练时间。

在 Keras 中加入指数衰减

tf.keras.optimizers.schedules.ExponentialDecay 可以按训练步数自动降低学习率。下面设置每 1000 step 把学习率乘以 0.5,并使用阶梯式衰减。

python
import tensorflow as tf

schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=0.01,
    decay_steps=1000,
    decay_rate=0.5,
    staircase=True,
)

optimizer = tf.keras.optimizers.SGD(
    learning_rate=schedule,
    momentum=0.9,
)

for step in (0, 1000, 2000):
    lr = float(schedule(step).numpy())
    print(f"step={step}, lr={lr:.6f}")

预期输出

text
step=0, lr=0.010000
step=1000, lr=0.005000
step=2000, lr=0.002500

这里的 decay_steps 按 batch 更新次数计算,不是按 epoch。若每个 epoch 有 250 个 batch,那么 1000 step 相当于约 4 个 epoch 后发生一次阶梯下降。

选择固定、计划衰减还是自适应下降

短实验或初始基线可以先用固定学习率,便于判断模型本身是否可训练;训练周期较长且已知总步数时,用 ExponentialDecay 之类的 schedule 更容易复现。验证集长期停滞时,可以改用 ReduceLROnPlateau。

例如监控 val_loss 时,可设置 factor=0.5、patience=3、min_lr=1e-6。这表示验证损失连续 3 个 epoch 没有改善后,把当前学习率乘以 0.5,并且不低于 1e-6。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置学习率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通