机器学习与深度学习 / 系统课时

选择优化器

选择优化器

优化器决定梯度怎样转换成参数更新。实际训练中,不必先追求“最强”算法,而应先用同一模型、同一批次和同一初始权重做可控对比,再根据收敛速度、振荡程度和验证集表现选择 SGD、Momentum、RMSprop 或 Adam。

学习目标

  • 区分 SGD、Momentum、RMSprop 和 Adam 的更新特点与常用参数
  • 在 TensorFlow Keras 中正确创建并检查四种优化器
  • 用可复现的小实验判断当前模型更适合哪种优化器

用参数看清四种优化器

Keras 中没有单独的 Momentum 优化器;Momentum 是 tf.keras.optimizers.SGD 的一个参数。做第一轮基线时,可以先采用下表参数,再围绕学习率做第二轮调节。

方案 Keras 写法要点 可用起点 典型特点
SGD SGD(momentum=0.0) learning_rate=0.01 更新直接,调参较敏感,常需学习率衰减
Momentum SGD(momentum=0.9) learning_rate=0.01 累积历史方向,通常比纯 SGD 更少来回振荡
RMSprop RMSprop(rho=0.9) learning_rate=0.001 按近期平方梯度缩放步长,适合梯度尺度变化明显的任务
Adam Adam(beta_1=0.9, beta_2=0.999) learning_rate=0.001 同时维护一阶、二阶统计量,常作为深度网络的首轮基线

这些数值是实验起点,不是固定答案。若把 SGD 的 0.01 原样套给 Adam,往往会让比较失去公平性,因为不同优化器的常用学习率量级本来就不同。

在 Keras 中创建并检查优化器

下面代码只验证优化器实例和关键学习率,适用于当前 tf.keras API;它不会依赖随机训练结果,因此输出可以直接核对。

python
import tensorflow as tf

optimizers = {
    "SGD": tf.keras.optimizers.SGD(learning_rate=0.01),
    "Momentum": tf.keras.optimizers.SGD(
        learning_rate=0.01,
        momentum=0.9,
    ),
    "RMSprop": tf.keras.optimizers.RMSprop(
        learning_rate=0.001,
        rho=0.9,
    ),
    "Adam": tf.keras.optimizers.Adam(
        learning_rate=0.001,
        beta_1=0.9,
        beta_2=0.999,
    ),
}

for name, optimizer in optimizers.items():
    lr = float(optimizer.learning_rate.numpy())
    print(f"{name}: lr={lr:.3f}")

预期输出

text
SGD: lr=0.010
Momentum: lr=0.010
RMSprop: lr=0.001
Adam: lr=0.001

真正训练时,把其中一个对象传给 model.compile(optimizer=optimizer, loss=..., metrics=...) 即可。若从一种优化器切到另一种,应重新创建优化器实例,让动量、均方梯度等内部状态从头开始。

用训练症状决定下一步

若需要快速建立基线,可先试 Adam 1e-3;若训练后期希望参数更新更可控,可对比 Momentum 0.9 配合学习率衰减。RMSprop 可用于梯度尺度变化较明显的任务,而纯 SGD 更适合愿意花时间仔细调学习率的实验。

公平比较时固定随机种子、数据划分、batch size、epoch 数和初始权重。例如保持 batch size 64、训练 20 个 epoch,只替换优化器;同时记录 val_loss 最低值与达到该值的 epoch。若某方案更快但验证损失更差,不能只凭训练速度判胜。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通