高等数学 / 系统课时

极限与训练收敛

极限与训练收敛

模型训练会产生一串损失值、参数值和梯度值。判断训练是否“收敛”,本质上是在观察这些序列是否逐步稳定。本课用极限语言解释损失趋稳、参数靠近固定点,以及为什么停止训练不能只看损失曲线变平。

学习目标

  • 能用数列极限描述训练过程中的稳定趋势
  • 区分损失收敛、参数收敛与梯度趋零
  • 理解常用停止训练条件及其局限

把训练看成三个序列

设第 kk 次迭代后的参数为 θk\theta_k,训练损失为 Lk=L(θk)L_k=L(\theta_k),梯度为 gk=∇L(θk)g_k=\nabla L(\theta_k)。训练过程可以看成三个随迭代次数变化的序列:

  • 损失序列 {Lk}\{L_k\}:模型目标是否逐步稳定。
  • 参数序列 {θk}\{\theta_k\}:模型权重是否靠近某个固定位置。
  • 梯度序列 {gk}\{g_k\}:当前参数附近是否仍存在明显下降方向。

当存在有限值 L∗L^*,使得

lim⁡k→∞Lk=L∗\lim_{k\to\infty}L_k=L^*

可以说损失序列收敛。但这只表示目标值趋于稳定,并不自动说明参数也收敛。

三种“收敛”并不等价

理想情况下,参数逐步接近某个固定点 θ∗\theta^*:

lim⁡k→∞θk=θ∗\lim_{k\to\infty}\theta_k=\theta^*

若损失连续,则参数收敛蕴含 Lk→L(θ∗)L_k\to L(\theta^*)。梯度连续时,gkg_k 趋于 ∇L(θ∗)\nabla L(\theta^*),这个值是否为零还取决于迭代规则。

例如对 L(w)=w2L(w)=w^2 使用固定学习率 η=1\eta=1,从 w0=1w_0=1 出发,更新式 wk+1=wk−2wk=−wkw_{k+1}=w_k-2w_k=-w_k。参数在 11 与 −1-1 间反复跳动,损失一直为 11,梯度范数一直为 22。用下面的脚本可以同时观察三个量。

python
w = 1.0
for step in range(4):
    gradient = 2 * w
    print(step, w, w**2, abs(gradient))
    w -= gradient

四列依次为步数、参数、损失和梯度范数。第二列在 11 与 −1-1 间交替,后两列始终为 11 和 22。因此只检查损失变化,第一步就可能满足阈值,但参数还在振荡。随机梯度下降也可能在最优区域附近振荡。

训练收敛的损失参数梯度三序列示意图

固定点与优化目标

设确定性的更新规则为

θk+1=T(θk)\theta_{k+1}=T(\theta_k)

那么满足 T(θ∗)=θ∗T(\theta^*)=\theta^* 的点称为固定点。若 TT 连续且参数序列收敛,对更新式两边取极限可知极限点是固定点。对梯度下降,更新规则是

θk+1=θk−η∇L(θk)\theta_{k+1}=\theta_k-\eta\nabla L(\theta_k)

其中 η\eta 是学习率。若 η>0\eta>0 固定且参数收敛,θk+1−θk→0\theta_{k+1}-\theta_k\to0,所以 ∇L(θk)=−(θk+1−θk)/η→0\nabla L(\theta_k)=-(\theta_{k+1}-\theta_k)/\eta\to0。再用梯度连续性可得极限点为驻点。若学习率本身趋于零,更新量小可能只说明步长变小,仍需独立观察梯度。但梯度为零只说明到达驻点,它可能是局部最小值、鞍点,甚至在特殊情况下是局部最大值,因此不能把“梯度趋零”直接等同于“找到全局最优解”。

如何设置停止训练条件

工程中无法等待 k→∞k\to\infty,所以要把极限思想改写成有限步内可检查的阈值。常见条件包括:

  • 损失变化足够小:∣Lk−Lk−1∣<εL|L_k-L_{k-1}|<\varepsilon_L。
  • 参数变化足够小:∥θk−θk−1∥<εθ\|\theta_k-\theta_{k-1}\|<\varepsilon_\theta。
  • 梯度范数足够小:∥gk∥<εg\|g_k\|<\varepsilon_g。
  • 验证集指标连续若干轮没有改善,触发早停。
  • 达到最大迭代次数,避免训练无限持续。

对小批量训练,应区分单个批次的损失和在固定评估样本上测得的损失。单次满足阈值可能只是随机波动,因此通常设置“连续若干轮满足”或使用滑动平均。对深度学习任务,验证集早停比只看训练损失更能防止过拟合。

收敛曲线的常见误判

损失下降很慢不一定表示已收敛,也可能是学习率过小;损失在固定范围内来回震荡,可能是学习率过大或小批量噪声较强;训练损失继续下降而验证损失上升,则说明模型正在过拟合,而不是训练效果继续改善。

因此,判断训练状态时至少要同时观察训练损失、验证指标和参数更新尺度。只凭一条变平的训练损失曲线,很难区分真正稳定、优化停滞和泛化恶化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

极限与训练收敛

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通