机器学习与深度学习 / 系统课时

理解梯度下降

理解梯度下降

学习目标

完成本课后,你将能够:

  • 说明梯度下降如何迭代更新模型参数
  • 解释学习率过大和过小的影响
  • 实现一个最小梯度下降程序

梯度下降的核心步骤

梯度下降通过重复计算损失函数对参数的梯度,并沿负梯度方向更新参数,使损失逐步减小。

text
参数新值 = 参数旧值 - 学习率 × 梯度

学习率控制每次更新幅度。学习率过小会收敛缓慢,过大可能越过最低点并导致震荡或发散。

单变量函数上的迭代

目标是找到函数 f(x) = (x - 3)² 的最小值。其导数为 2(x - 3),最低点位于 x = 3。

python
def loss(x):
    return (x - 3) ** 2

def gradient(x):
    return 2 * (x - 3)

x = 10.0
learning_rate = 0.1

for step in range(10):
    x = x - learning_rate * gradient(x)
    print(f"第 {step + 1:02d} 步: x={x:.4f}, loss={loss(x):.4f}")

预期输出前几行和最后一行如下:

text
第 01 步: x=8.6000, loss=31.3600
第 02 步: x=7.4800, loss=20.0704
第 03 步: x=6.5840, loss=12.8451
第 10 步: x=3.7516, loss=0.5649

继续迭代时,x 会逐步接近 3,损失接近 0。

学习率对结果的影响

学习率 常见表现
很小 稳定但收敛慢
合理 损失持续下降
过大 在最低点两侧震荡
极大 损失不断增大并发散

判断学习率是否合理,应观察训练损失曲线,而不是只检查最终一次输出。

批量、随机与小批量梯度下降

  • 批量梯度下降每次使用全部训练数据,梯度稳定但单次计算成本高。
  • 随机梯度下降每次使用一条样本,更新快但波动大。
  • 小批量梯度下降每次使用一小批样本,是深度学习训练中的常见方案。

三者更新公式相同,区别在于每次计算梯度使用的数据量。

常见问题与处理

  1. 损失变成 nan:检查学习率、异常值、除零和数值溢出。
  2. 损失几乎不变:检查梯度是否为零、学习率是否过小、参数是否参与计算。
  3. 损失下降后反复震荡:降低学习率或使用学习率衰减。
  4. 不同特征尺度差异过大:先标准化特征。

本课练习

  1. 将初始值改为 -5,观察是否仍能接近最低点。
  2. 分别使用学习率 0.01、0.5 和 1.1,比较损失变化。
  3. 为二元函数实现梯度下降,并记录每轮参数与损失。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解梯度下降

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通