机器学习与深度学习 / 系统课时

随机梯度下降

随机梯度下降

本课解决“参数为什么会沿着某个方向更新,以及批量大小和动量如何改变收敛轨迹”这一问题。你将从更新公式出发,理解随机梯度下降的噪声来源,并用一个可运行示例观察动量带来的加速与过冲。

学习目标

  • 解释批量梯度、随机梯度与小批量梯度的差异
  • 判断学习率、批量大小和动量对训练过程的影响
  • 手写一次带动量的 SGD 参数更新并验证结果

从损失下降到参数更新

训练的目标是让损失函数变小。设当前参数为 wtw_t,当前批次计算出的梯度为 gtg_t,最基本的更新规则是:

wt+1=wt−lr⋅gtw_{t+1}=w_t-lr·g_t

梯度指向损失增长最快的方向,因此更新时要减去梯度。lr 是学习率:过小会使训练缓慢,过大则可能越过低点并发生震荡,严重时甚至发散。

随机性来自哪里

“随机梯度下降”通常并不是每次只取一条样本,而是先打乱数据,再按小批量计算梯度。不同批次包含的样本不同,因此每一步梯度只是总体梯度的估计,更新方向会带有噪声。

方式 每次使用的数据 特点
批量梯度下降 全部训练集 方向稳定,但单步成本高
随机梯度下降 1 条样本 更新频繁,噪声很大
小批量 SGD 一小批样本 兼顾并行效率与稳定性

较小批量通常带来更强随机性,可能帮助参数离开狭窄区域;较大批量的梯度更平滑,但需要更多显存,并不保证泛化一定更好。

动量如何改变方向

动量会保存历史更新趋势。先累积速度 vtv_t,再用速度更新参数:

vt=mu⋅vt−1+gtv_t=mu·v_{t-1}+g_t
wt+1=wt−lr⋅vtw_{t+1}=w_t-lr·v_t

当多个批次的梯度方向大致一致时,速度会不断累积,使参数更快前进;当梯度来回摆动时,正负方向会部分抵消。不过,动量过大也可能让参数冲过最低点。

SGD、随机梯度与动量的收敛轨迹

手写带动量的更新

下面最小化函数 loss=(w-3)^2。示例只使用 Python 数值运算,便于直接看清梯度、速度和参数之间的关系。

python
w = 0.0
velocity = 0.0
learning_rate = 0.1
momentum = 0.9

for step in range(1, 6):
    gradient = 2 * (w - 3)
    velocity = momentum * velocity + gradient
    w = w - learning_rate * velocity
    print(
        f"step={step}, w={w:.4f}, "
        f"gradient={gradient:.4f}, velocity={velocity:.4f}"
    )

预期输出:

text
step=1, w=0.6000, gradient=-6.0000, velocity=-6.0000
step=2, w=1.6200, gradient=-4.8000, velocity=-10.2000
step=3, w=2.8140, gradient=-2.7600, velocity=-11.9400
step=4, w=3.9258, gradient=-0.3720, velocity=-11.1180
step=5, w=4.7413, gradient=1.8516, velocity=-8.1546

第 4 步之后参数已经越过最优点 w=3,但历史速度仍推动它向右移动,这正是动量产生过冲的直观表现。实际训练中可通过减小学习率、降低动量或使用学习率调度缓解震荡。

使用与检查要点

训练开始时先观察损失是否整体下降,再判断波动是否可接受。若损失持续上升,优先减小学习率;若下降很慢且梯度方向稳定,可适当增大学习率或启用动量;若显存不足,则减小批量并重新评估学习率。

还要确保每轮训练前正确打乱数据。固定样本顺序可能让连续批次高度相关,使梯度噪声带有偏向,削弱随机性的价值。

本课总结

  • SGD 用当前批次梯度决定参数下降方向,小批量让计算效率与随机性取得平衡
  • 学习率控制单步幅度,批量大小影响梯度噪声,动量负责累积历史趋势
  • 动量能加速一致方向上的前进,也可能造成过冲,因此必须结合损失曲线调节

下一课预告

下一课将比较 Adam、AdamW 与 SGD,说明自适应学习率和解耦权重衰减为何会改变优化器的使用条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

随机梯度下降

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通