机器学习与深度学习 / 系统课时

使用早停策略

使用早停策略

训练轮数设得过大时,模型可能在验证集已经不再改善后继续消耗计算,甚至开始过拟合。本课用 EarlyStopping 监控验证指标,设置最小改善量、耐心轮数和最佳权重恢复,并用一个可重复的小例子验证训练确实会提前结束。

学习目标

  • 能解释 monitor、min_delta、patience 和 restore_best_weights 如何共同决定停止时机。
  • 能把 EarlyStopping 正确接入包含验证集的 model.fit()。
  • 能区分“停止训练”和“保存最佳模型文件”这两个不同动作。

把停止条件写成可检查的规则

以下参数按 TensorFlow 2.16.1 的 tf.keras.callbacks.EarlyStopping 写法。监控损失时使用 mode="min",监控准确率、AUC 等越大越好的指标时使用 mode="max"。

参数 示例值 实际含义
monitor "val_loss" 每轮结束后读取验证损失
min_delta 1e-4 小于 0.0001 的变化不算有效改善
patience 3 连续 3 轮没有有效改善后停止
restore_best_weights True 训练结束后恢复最佳轮次的权重
start_from_epoch 2 前 2 轮作为热身期,不参与早停判断

EarlyStopping 从验证指标到停止训练的状态流程

用恒定验证损失验证早停

下面故意把 SGD 学习率设为 0.0,使模型权重完全不更新,因此 val_loss 每轮都保持不变。patience=2 时,第 1 轮建立最佳值,随后连续 2 轮没有改善,所以总共只会执行 3 个 epoch,而不是请求的 10 个。

python
import tensorflow as tf

x = tf.ones((8, 1), dtype=tf.float32)
y = tf.ones((8, 1), dtype=tf.float32)

model = tf.keras.Sequential([
    tf.keras.Input(shape=(1,)),
    tf.keras.layers.Dense(
        1,
        kernel_initializer="zeros",
        bias_initializer="zeros",
    ),
])
model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=0.0),
    loss="mse",
)

early_stop = tf.keras.callbacks.EarlyStopping(
    monitor="val_loss",
    mode="min",
    min_delta=0.0,
    patience=2,
    restore_best_weights=True,
    verbose=0,
)

history = model.fit(
    x,
    y,
    validation_data=(x, y),
    epochs=10,
    batch_size=4,
    verbose=0,
    callbacks=[early_stop],
)

print("epochs_run =", len(history.history["loss"]))
print("best_val_loss =", f"{min(history.history['val_loss']):.1f}")

预期输出

text
epochs_run = 3
best_val_loss = 1.0

这个例子不是为了训练出好模型,而是隔离验证早停逻辑。真实训练中学习率应恢复为正常值,例如 Adam 常用 1e-3 作为起点,再根据任务规模和曲线调节。

恢复最佳权重不等于保存文件

restore_best_weights=True 只把内存中的模型权重恢复到监控指标最好的轮次,不会自动生成模型文件。如果训练可能中断,或需要部署最佳版本,应再配合 ModelCheckpoint(save_best_only=True)。

片段示例:下面依赖已经创建好的 model、训练集和验证集,并把最佳完整模型保存为当前工作目录下的 best.keras。

python
checkpoint = tf.keras.callbacks.ModelCheckpoint(
    filepath="best.keras",
    monitor="val_loss",
    mode="min",
    save_best_only=True,
)

model.fit(
    x_train,
    y_train,
    validation_data=(x_val, y_val),
    epochs=100,
    callbacks=[early_stop, checkpoint],
)

验证时应同时检查两件事:history.history["loss"] 的长度小于最大 epochs,说明早停真的触发;当前目录出现 best.keras,说明最佳模型也已持久化。只设置 restore_best_weights=True 而没有 ModelCheckpoint,磁盘上不会自动多出模型文件。

避免过早停止和无效等待

验证指标抖动较大时,patience=1 往往太敏感。小型稳定任务可以先从 patience=3~5 开始;噪声更大的任务可尝试 5~10。若前几轮属于学习率 warm-up,可设 start_from_epoch=3 或 5,避免模型刚启动就被判断为停滞。

另一个常见错误是把 monitor="val_accuracy" 却仍使用 mode="min",这会把方向设反。验收时应先确认监控指标确实存在,再确认方向正确,最后检查停止轮次是否符合 min_delta + patience 的规则;只有三项都对,早停策略才算真正生效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用早停策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通