高等数学 / 系统课时

损失曲线的导数分析

损失曲线的导数分析

损失值只说明模型当前“错了多少”,导数则说明参数应向哪里移动、移动是否容易。本课读的是固定目标 L(w)L(w) 随参数变化的曲线。训练日志里损失随迭代次数变化,不能直接把那条曲线的斜率当成参数梯度。

学习目标

  • 根据一阶导数判断参数更新方向
  • 根据二阶导数识别极小值与曲率强弱
  • 解释平坦区域和高曲率区域中的训练困难

用一阶和二阶导数读曲线

设损失函数为 L(w)L(w),梯度下降的更新式是:

wt+1=wt−ηL′(wt)w_{t+1}=w_t-\eta L'(w_t)

其中 η\eta 是学习率。当 L′(w)>0L'(w)>0 时,更新会减小 ww;当 L′(w)<0L'(w)<0 时,更新会增大 ww。若 L′(w)≈0L'(w)\approx 0,当前位置可能是极小值,也可能是极大值或较长的平坦区域,不能只靠一阶导数下结论。

一元损失曲线上的斜率与曲率区域

曲线位置 导数特征 对训练的含义
陡峭区域 $ L'(w)
满足二阶充分条件的极小值 L′(w)=0L'(w)=0 且 L′′(w)>0L''(w)>0 在该点的足够小邻域内,其他位置的损失更大
平坦区域 $ L'(w)
高曲率区域 $ L''(w)

二阶导数 L′′(w)L''(w) 描述斜率变化的速度。它为正且较大时,斜率随参数快速增大。是否在碗底仍要检查一阶导数。二阶导数接近零说明斜率在局部变化小,此时一阶导数仍可能很大。

主示例:二次损失如何收敛

考虑 L(w)=(w−3)2+1L(w)=(w-3)^2+1,则 L′(w)=2(w−3)L'(w)=2(w-3)、L′′(w)=2L''(w)=2,极小值位于 w=3w=3。下面从 w0=0w_0=0 出发,以学习率 η=0.2\eta=0.2 连续更新三次:

python
def loss_gradient(w: float) -> float:
    return 2 * (w - 3)

w = 0.0
learning_rate = 0.2

for step in range(1, 4):
    gradient = loss_gradient(w)
    # 使用当前点的梯度更新参数,再观察它是否接近极小值 3
    w = w - learning_rate * gradient
    print(f"step={step}, w={w:.3f}, gradient={gradient:.3f}")

预期输出:

text
step=1, w=1.200, gradient=-6.000
step=2, w=1.920, gradient=-3.600
step=3, w=2.352, gradient=-2.160

每行的梯度取自更新前的参数,打印的 ww 是更新后的参数。参数每次都向 33 靠近,同时梯度绝对值逐渐变小。这体现了二次损失上“远处步子大、近处步子小”的基本收敛过程。

平坦区、高曲率与分析边界

在平坦区域,梯度很小,即使方向正确,参数每次也只移动一点。提高学习率可能加快穿越速度,但进入其他区域后又可能造成过冲,因此实际训练常配合动量或自适应学习率。

对 L(w)=a2(w−w∗)2L(w)=\frac{a}{2}(w-w^*)^2 且 a>0a>0,将导数 a(w−w∗)a(w-w^*) 代入更新式,得到误差递推 wt+1−w∗=(1−ηa)(wt−w∗)w_{t+1}-w^*=(1-\eta a)(w_t-w^*)。要让任意非零初始误差趋于零,需要 ∣1−ηa∣<1|1-\eta a|<1,也就是

0<η<2a0<\eta<\frac{2}{a}

在主例 a=2a=2 中,η=0.2\eta=0.2 每步将误差乘 0.60.6。把代码中的学习率改为 11,误差每步变号、绝对值不变,参数在 00 与 66 间往返。改为 1.11.1 时,误差每步变号且放大为原来的 1.21.2 倍。曲率系数 aa 越大,稳定步长上限越小。这解释了为什么同一个学习率在平缓方向上显得太小,在陡峭方向上却可能太大。

一元曲线通常只是高维损失面的一个切片。实际训练还会受到小批量噪声、数据分布和正则化影响,因此单次损失波动不一定表示更新方向错误;训练损失较低也不等于验证集表现一定更好。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

损失曲线的导数分析

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通