机器学习与深度学习 / 系统课时
使用学习率调度
使用学习率调度
固定学习率在训练前期可能收敛太慢,在后期又可能跨过较优解。本课用 LearningRateScheduler 按轮次改学习率,并用 ReduceLROnPlateau 根据验证集停滞自动降档,最终能把调度规则接入 model.fit() 并验证是否生效。
学习目标
- 能根据“已知训练阶段”与“验证指标停滞”选择合适的学习率调度方式。
- 能配置
LearningRateScheduler与ReduceLROnPlateau的关键参数。 - 能从训练日志确认当前学习率是否按预期变化。
选择调度方式
以下写法适用于 TensorFlow 2.16.1 的 tf.keras。如果你已经知道第几轮该降学习率,用 LearningRateScheduler;如果不知道拐点何时出现,让回调监控 val_loss,通常更省手工试验。
| 场景 | 推荐 API | 关键参数 | 示例规则 |
|---|---|---|---|
| 固定阶段降档 | LearningRateScheduler |
schedule(epoch, lr) |
前 3 轮 1e-3,之后 1e-4 |
| 验证集停滞 | ReduceLROnPlateau |
monitor、factor、patience |
连续 2 轮无显著改善后乘 0.5 |

按训练轮次修改学习率
LearningRateScheduler 会在每个 epoch 开始时调用 schedule(epoch, lr),其中 epoch 从 0 开始。下面让前 3 轮使用 1e-3,从第 4 轮开始切到 1e-4,并额外打印每轮实际写入优化器的值。
import tensorflow as tf
def schedule(epoch, lr):
# epoch 从 0 开始,因此 0、1、2 对应前 3 轮
return 1e-3 if epoch < 3 else 1e-4
class PrintLearningRate(tf.keras.callbacks.Callback):
def on_epoch_begin(self, epoch, logs=None):
lr = float(tf.keras.backend.get_value(
self.model.optimizer.learning_rate
))
print(f"epoch={epoch + 1}, lr={lr:.1e}")
x = tf.zeros((8, 2), dtype=tf.float32)
y = tf.zeros((8, 1), dtype=tf.float32)
model = tf.keras.Sequential([
tf.keras.Input(shape=(2,)),
tf.keras.layers.Dense(1),
])
model.compile(
optimizer=tf.keras.optimizers.SGD(learning_rate=1e-3),
loss="mse",
)
scheduler = tf.keras.callbacks.LearningRateScheduler(schedule)
model.fit(
x,
y,
epochs=6,
batch_size=4,
verbose=0,
callbacks=[scheduler, PrintLearningRate()],
)预期输出
epoch=1, lr=1.0e-03
epoch=2, lr=1.0e-03
epoch=3, lr=1.0e-03
epoch=4, lr=1.0e-04
epoch=5, lr=1.0e-04
epoch=6, lr=1.0e-04回调顺序也值得检查:这里把 LearningRateScheduler 放在打印回调之前,因此打印到的是本轮已经更新后的学习率。若把打印回调放在前面,第 4 轮可能先看到旧值,容易误判调度没有生效。
根据验证指标自动降档
当验证损失的最佳轮次不可预先确定时,可以让 ReduceLROnPlateau 监控 val_loss。例如初始学习率为 1e-3,设置 factor=0.5、patience=2、min_delta=1e-3 后,连续 2 轮没有达到至少 0.001 的改善,就把学习率降为原来的一半。
片段示例:下面代码依赖已经完成 compile() 的 model,并要求 fit() 提供验证数据以生成 val_loss。
reduce_lr = tf.keras.callbacks.ReduceLROnPlateau(
monitor="val_loss",
factor=0.5,
patience=2,
min_delta=1e-3,
cooldown=1,
min_lr=1e-5,
verbose=1,
)
model.fit(
x_train,
y_train,
validation_data=(x_val, y_val),
epochs=50,
callbacks=[reduce_lr],
)若当前学习率是 1e-3,一次降档后就是 5e-4,再一次是 2.5e-4;即使继续停滞,也不会低于 1e-5。验证时应同时观察 val_loss 与日志中的 learning rate 更新消息,而不是只看训练损失。
调参时先检查这几个边界
Adam 从 1e-3 起步是常见基线;迁移学习微调阶段通常会把起始值降到 1e-4 或 1e-5。对 ReduceLROnPlateau,可以先尝试 factor=0.2~0.5、patience=2~5,再根据验证曲线是否抖动调整。
如果验证损失仍在稳定下降,就不要因为训练轮数到了而机械降档;相反,若指标已连续多轮横盘,基于验证指标的降档通常比固定轮次更合适。最终验收标准很简单:日志中的学习率变化必须与设定规则一致,且降档后验证指标仍有继续改善的机会。