机器学习与深度学习 / 系统课时
理解梯度下降
理解梯度下降
学习目标
完成本课后,你将能够:
- 说明梯度下降如何迭代更新模型参数
- 解释学习率过大和过小的影响
- 实现一个最小梯度下降程序
梯度下降的核心步骤
梯度下降通过重复计算损失函数对参数的梯度,并沿负梯度方向更新参数,使损失逐步减小。
text
参数新值 = 参数旧值 - 学习率 × 梯度学习率控制每次更新幅度。学习率过小会收敛缓慢,过大可能越过最低点并导致震荡或发散。
单变量函数上的迭代
目标是找到函数 f(x) = (x - 3)² 的最小值。其导数为 2(x - 3),最低点位于 x = 3。
python
def loss(x):
return (x - 3) ** 2
def gradient(x):
return 2 * (x - 3)
x = 10.0
learning_rate = 0.1
for step in range(10):
x = x - learning_rate * gradient(x)
print(f"第 {step + 1:02d} 步: x={x:.4f}, loss={loss(x):.4f}")预期输出前几行和最后一行如下:
text
第 01 步: x=8.6000, loss=31.3600
第 02 步: x=7.4800, loss=20.0704
第 03 步: x=6.5840, loss=12.8451
第 10 步: x=3.7516, loss=0.5649继续迭代时,x 会逐步接近 3,损失接近 0。
学习率对结果的影响
| 学习率 | 常见表现 |
|---|---|
| 很小 | 稳定但收敛慢 |
| 合理 | 损失持续下降 |
| 过大 | 在最低点两侧震荡 |
| 极大 | 损失不断增大并发散 |
判断学习率是否合理,应观察训练损失曲线,而不是只检查最终一次输出。
批量、随机与小批量梯度下降
- 批量梯度下降每次使用全部训练数据,梯度稳定但单次计算成本高。
- 随机梯度下降每次使用一条样本,更新快但波动大。
- 小批量梯度下降每次使用一小批样本,是深度学习训练中的常见方案。
三者更新公式相同,区别在于每次计算梯度使用的数据量。
常见问题与处理
- 损失变成
nan:检查学习率、异常值、除零和数值溢出。 - 损失几乎不变:检查梯度是否为零、学习率是否过小、参数是否参与计算。
- 损失下降后反复震荡:降低学习率或使用学习率衰减。
- 不同特征尺度差异过大:先标准化特征。
本课练习
- 将初始值改为
-5,观察是否仍能接近最低点。 - 分别使用学习率
0.01、0.5和1.1,比较损失变化。 - 为二元函数实现梯度下降,并记录每轮参数与损失。
按自己的节奏,确认真正理解。