机器学习与深度学习 / 系统课时

使用学习率调度

使用学习率调度

固定学习率在训练前期可能收敛太慢,在后期又可能跨过较优解。本课用 LearningRateScheduler 按轮次改学习率,并用 ReduceLROnPlateau 根据验证集停滞自动降档,最终能把调度规则接入 model.fit() 并验证是否生效。

学习目标

  • 能根据“已知训练阶段”与“验证指标停滞”选择合适的学习率调度方式。
  • 能配置 LearningRateScheduler 与 ReduceLROnPlateau 的关键参数。
  • 能从训练日志确认当前学习率是否按预期变化。

选择调度方式

以下写法适用于 TensorFlow 2.16.1 的 tf.keras。如果你已经知道第几轮该降学习率,用 LearningRateScheduler;如果不知道拐点何时出现,让回调监控 val_loss,通常更省手工试验。

场景 推荐 API 关键参数 示例规则
固定阶段降档 LearningRateScheduler schedule(epoch, lr) 前 3 轮 1e-3,之后 1e-4
验证集停滞 ReduceLROnPlateau monitor、factor、patience 连续 2 轮无显著改善后乘 0.5

按轮次或验证指标调整学习率的数据流

按训练轮次修改学习率

LearningRateScheduler 会在每个 epoch 开始时调用 schedule(epoch, lr),其中 epoch 从 0 开始。下面让前 3 轮使用 1e-3,从第 4 轮开始切到 1e-4,并额外打印每轮实际写入优化器的值。

python
import tensorflow as tf

def schedule(epoch, lr):
    # epoch 从 0 开始,因此 0、1、2 对应前 3 轮
    return 1e-3 if epoch < 3 else 1e-4

class PrintLearningRate(tf.keras.callbacks.Callback):
    def on_epoch_begin(self, epoch, logs=None):
        lr = float(tf.keras.backend.get_value(
            self.model.optimizer.learning_rate
        ))
        print(f"epoch={epoch + 1}, lr={lr:.1e}")

x = tf.zeros((8, 2), dtype=tf.float32)
y = tf.zeros((8, 1), dtype=tf.float32)

model = tf.keras.Sequential([
    tf.keras.Input(shape=(2,)),
    tf.keras.layers.Dense(1),
])
model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=1e-3),
    loss="mse",
)

scheduler = tf.keras.callbacks.LearningRateScheduler(schedule)

model.fit(
    x,
    y,
    epochs=6,
    batch_size=4,
    verbose=0,
    callbacks=[scheduler, PrintLearningRate()],
)

预期输出

text
epoch=1, lr=1.0e-03
epoch=2, lr=1.0e-03
epoch=3, lr=1.0e-03
epoch=4, lr=1.0e-04
epoch=5, lr=1.0e-04
epoch=6, lr=1.0e-04

回调顺序也值得检查:这里把 LearningRateScheduler 放在打印回调之前,因此打印到的是本轮已经更新后的学习率。若把打印回调放在前面,第 4 轮可能先看到旧值,容易误判调度没有生效。

根据验证指标自动降档

当验证损失的最佳轮次不可预先确定时,可以让 ReduceLROnPlateau 监控 val_loss。例如初始学习率为 1e-3,设置 factor=0.5、patience=2、min_delta=1e-3 后,连续 2 轮没有达到至少 0.001 的改善,就把学习率降为原来的一半。

片段示例:下面代码依赖已经完成 compile() 的 model,并要求 fit() 提供验证数据以生成 val_loss。

python
reduce_lr = tf.keras.callbacks.ReduceLROnPlateau(
    monitor="val_loss",
    factor=0.5,
    patience=2,
    min_delta=1e-3,
    cooldown=1,
    min_lr=1e-5,
    verbose=1,
)

model.fit(
    x_train,
    y_train,
    validation_data=(x_val, y_val),
    epochs=50,
    callbacks=[reduce_lr],
)

若当前学习率是 1e-3,一次降档后就是 5e-4,再一次是 2.5e-4;即使继续停滞,也不会低于 1e-5。验证时应同时观察 val_loss 与日志中的 learning rate 更新消息,而不是只看训练损失。

调参时先检查这几个边界

Adam 从 1e-3 起步是常见基线;迁移学习微调阶段通常会把起始值降到 1e-4 或 1e-5。对 ReduceLROnPlateau,可以先尝试 factor=0.2~0.5、patience=2~5,再根据验证曲线是否抖动调整。

如果验证损失仍在稳定下降,就不要因为训练轮数到了而机械降档;相反,若指标已连续多轮横盘,基于验证指标的降档通常比固定轮次更合适。最终验收标准很简单:日志中的学习率变化必须与设定规则一致,且降档后验证指标仍有继续改善的机会。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用学习率调度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通