机器学习与深度学习 / 系统课时
选择优化器
选择优化器
优化器决定梯度怎样转换成参数更新。实际训练中,不必先追求“最强”算法,而应先用同一模型、同一批次和同一初始权重做可控对比,再根据收敛速度、振荡程度和验证集表现选择 SGD、Momentum、RMSprop 或 Adam。
学习目标
- 区分 SGD、Momentum、RMSprop 和 Adam 的更新特点与常用参数
- 在 TensorFlow Keras 中正确创建并检查四种优化器
- 用可复现的小实验判断当前模型更适合哪种优化器
用参数看清四种优化器
Keras 中没有单独的 Momentum 优化器;Momentum 是 tf.keras.optimizers.SGD 的一个参数。做第一轮基线时,可以先采用下表参数,再围绕学习率做第二轮调节。
| 方案 | Keras 写法要点 | 可用起点 | 典型特点 |
|---|---|---|---|
| SGD | SGD(momentum=0.0) |
learning_rate=0.01 |
更新直接,调参较敏感,常需学习率衰减 |
| Momentum | SGD(momentum=0.9) |
learning_rate=0.01 |
累积历史方向,通常比纯 SGD 更少来回振荡 |
| RMSprop | RMSprop(rho=0.9) |
learning_rate=0.001 |
按近期平方梯度缩放步长,适合梯度尺度变化明显的任务 |
| Adam | Adam(beta_1=0.9, beta_2=0.999) |
learning_rate=0.001 |
同时维护一阶、二阶统计量,常作为深度网络的首轮基线 |
这些数值是实验起点,不是固定答案。若把 SGD 的 0.01 原样套给 Adam,往往会让比较失去公平性,因为不同优化器的常用学习率量级本来就不同。
在 Keras 中创建并检查优化器
下面代码只验证优化器实例和关键学习率,适用于当前 tf.keras API;它不会依赖随机训练结果,因此输出可以直接核对。
python
import tensorflow as tf
optimizers = {
"SGD": tf.keras.optimizers.SGD(learning_rate=0.01),
"Momentum": tf.keras.optimizers.SGD(
learning_rate=0.01,
momentum=0.9,
),
"RMSprop": tf.keras.optimizers.RMSprop(
learning_rate=0.001,
rho=0.9,
),
"Adam": tf.keras.optimizers.Adam(
learning_rate=0.001,
beta_1=0.9,
beta_2=0.999,
),
}
for name, optimizer in optimizers.items():
lr = float(optimizer.learning_rate.numpy())
print(f"{name}: lr={lr:.3f}")预期输出
text
SGD: lr=0.010
Momentum: lr=0.010
RMSprop: lr=0.001
Adam: lr=0.001真正训练时,把其中一个对象传给 model.compile(optimizer=optimizer, loss=..., metrics=...) 即可。若从一种优化器切到另一种,应重新创建优化器实例,让动量、均方梯度等内部状态从头开始。
用训练症状决定下一步
若需要快速建立基线,可先试 Adam 1e-3;若训练后期希望参数更新更可控,可对比 Momentum 0.9 配合学习率衰减。RMSprop 可用于梯度尺度变化较明显的任务,而纯 SGD 更适合愿意花时间仔细调学习率的实验。
公平比较时固定随机种子、数据划分、batch size、epoch 数和初始权重。例如保持 batch size 64、训练 20 个 epoch,只替换优化器;同时记录 val_loss 最低值与达到该值的 epoch。若某方案更快但验证损失更差,不能只凭训练速度判胜。
按自己的节奏,确认真正理解。