机器学习与深度学习 / 系统课时
随机梯度下降
随机梯度下降
本课解决“参数为什么会沿着某个方向更新,以及批量大小和动量如何改变收敛轨迹”这一问题。你将从更新公式出发,理解随机梯度下降的噪声来源,并用一个可运行示例观察动量带来的加速与过冲。
学习目标
- 解释批量梯度、随机梯度与小批量梯度的差异
- 判断学习率、批量大小和动量对训练过程的影响
- 手写一次带动量的 SGD 参数更新并验证结果
从损失下降到参数更新
训练的目标是让损失函数变小。设当前参数为 ,当前批次计算出的梯度为 ,最基本的更新规则是:
梯度指向损失增长最快的方向,因此更新时要减去梯度。lr 是学习率:过小会使训练缓慢,过大则可能越过低点并发生震荡,严重时甚至发散。
随机性来自哪里
“随机梯度下降”通常并不是每次只取一条样本,而是先打乱数据,再按小批量计算梯度。不同批次包含的样本不同,因此每一步梯度只是总体梯度的估计,更新方向会带有噪声。
| 方式 | 每次使用的数据 | 特点 |
|---|---|---|
| 批量梯度下降 | 全部训练集 | 方向稳定,但单步成本高 |
| 随机梯度下降 | 1 条样本 | 更新频繁,噪声很大 |
| 小批量 SGD | 一小批样本 | 兼顾并行效率与稳定性 |
较小批量通常带来更强随机性,可能帮助参数离开狭窄区域;较大批量的梯度更平滑,但需要更多显存,并不保证泛化一定更好。
动量如何改变方向
动量会保存历史更新趋势。先累积速度 ,再用速度更新参数:
当多个批次的梯度方向大致一致时,速度会不断累积,使参数更快前进;当梯度来回摆动时,正负方向会部分抵消。不过,动量过大也可能让参数冲过最低点。

手写带动量的更新
下面最小化函数 loss=(w-3)^2。示例只使用 Python 数值运算,便于直接看清梯度、速度和参数之间的关系。
w = 0.0
velocity = 0.0
learning_rate = 0.1
momentum = 0.9
for step in range(1, 6):
gradient = 2 * (w - 3)
velocity = momentum * velocity + gradient
w = w - learning_rate * velocity
print(
f"step={step}, w={w:.4f}, "
f"gradient={gradient:.4f}, velocity={velocity:.4f}"
)预期输出:
step=1, w=0.6000, gradient=-6.0000, velocity=-6.0000
step=2, w=1.6200, gradient=-4.8000, velocity=-10.2000
step=3, w=2.8140, gradient=-2.7600, velocity=-11.9400
step=4, w=3.9258, gradient=-0.3720, velocity=-11.1180
step=5, w=4.7413, gradient=1.8516, velocity=-8.1546第 4 步之后参数已经越过最优点 w=3,但历史速度仍推动它向右移动,这正是动量产生过冲的直观表现。实际训练中可通过减小学习率、降低动量或使用学习率调度缓解震荡。
使用与检查要点
训练开始时先观察损失是否整体下降,再判断波动是否可接受。若损失持续上升,优先减小学习率;若下降很慢且梯度方向稳定,可适当增大学习率或启用动量;若显存不足,则减小批量并重新评估学习率。
还要确保每轮训练前正确打乱数据。固定样本顺序可能让连续批次高度相关,使梯度噪声带有偏向,削弱随机性的价值。
本课总结
- SGD 用当前批次梯度决定参数下降方向,小批量让计算效率与随机性取得平衡
- 学习率控制单步幅度,批量大小影响梯度噪声,动量负责累积历史趋势
- 动量能加速一致方向上的前进,也可能造成过冲,因此必须结合损失曲线调节
下一课预告
下一课将比较 Adam、AdamW 与 SGD,说明自适应学习率和解耦权重衰减为何会改变优化器的使用条件。