机器学习与深度学习 / 系统课时
设置学习率
设置学习率
学习率控制每次参数更新的步长。步长过大时损失可能振荡甚至发散,过小时又会在有限 epoch 内几乎不动。可靠做法是先用数量级搜索找到可训练区间,再决定保持常数、按步数衰减,或在验证集停滞时降低学习率。
学习目标
- 根据 loss 曲线识别学习率过大、过小和基本合适的表现
- 用数量级搜索确定初始学习率,而不是只改最后一位小数
- 在 Keras 中配置固定学习率、指数衰减和按验证集降学习率
先从曲线判断步长是否合理
同一个模型在不同学习率下,前几个 epoch 就可能出现明显差异。下面数值是示例观察,不代表所有数据集都会得到相同 loss,但可以作为排查模式。
| 初始学习率 | 示例 loss 变化 | 判断 | 下一步 |
|---|---|---|---|
1e-1 |
0.69 → 1.20 → 0.88 |
更新过猛、明显振荡 | 降到 1e-2 或更低 |
1e-5 |
0.69 → 0.68 → 0.67 |
能下降但过慢 | 提高 3~10 倍 |
1e-3 |
0.69 → 0.52 → 0.41 |
连续下降且较平稳 | 继续观察验证集 |
若 loss 直接变成 nan,还要同时检查输入数据、归一化和梯度异常,不能只把责任归到学习率。若训练集持续下降而验证集恶化,问题更可能是过拟合,而不是步长单独造成的。
用数量级搜索找初始值
不要从 0.0010 改成 0.0011 逐点试。更高效的第一轮是测试 1e-2、3e-3、1e-3、3e-4、1e-4,每组只跑 3~5 个 epoch,并固定随机种子、batch size 和数据划分。
Adam 常可从 1e-3 附近建立基线,Momentum SGD 可先试 1e-2。若最优候选落在 1e-3 与 3e-4 之间,再做第二轮细化,例如测试 8e-4、6e-4、4e-4。这样两轮通常比一次性密集扫几十个值更省训练时间。
在 Keras 中加入指数衰减
tf.keras.optimizers.schedules.ExponentialDecay 可以按训练步数自动降低学习率。下面设置每 1000 step 把学习率乘以 0.5,并使用阶梯式衰减。
import tensorflow as tf
schedule = tf.keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate=0.01,
decay_steps=1000,
decay_rate=0.5,
staircase=True,
)
optimizer = tf.keras.optimizers.SGD(
learning_rate=schedule,
momentum=0.9,
)
for step in (0, 1000, 2000):
lr = float(schedule(step).numpy())
print(f"step={step}, lr={lr:.6f}")预期输出
step=0, lr=0.010000
step=1000, lr=0.005000
step=2000, lr=0.002500这里的 decay_steps 按 batch 更新次数计算,不是按 epoch。若每个 epoch 有 250 个 batch,那么 1000 step 相当于约 4 个 epoch 后发生一次阶梯下降。
选择固定、计划衰减还是自适应下降
短实验或初始基线可以先用固定学习率,便于判断模型本身是否可训练;训练周期较长且已知总步数时,用 ExponentialDecay 之类的 schedule 更容易复现。验证集长期停滞时,可以改用 ReduceLROnPlateau。
例如监控 val_loss 时,可设置 factor=0.5、patience=3、min_lr=1e-6。这表示验证损失连续 3 个 epoch 没有改善后,把当前学习率乘以 0.5,并且不低于 1e-6。