高等数学 / 系统课时
损失函数曲面
损失函数曲面
训练模型时,可以把参数看成坐标,把损失值看成高度。这样,优化过程就变成在一张高低起伏的曲面上寻找更低位置。本课将建立这一几何视角,并解释盆地、峡谷和平坦区域为什么会影响训练速度与稳定性。
学习目标
- 能把模型参数与损失函数曲面中的坐标、高度对应起来
- 能识别盆地、峡谷和平坦区域的几何特征
- 能说明不同曲面形状对梯度下降的影响
从函数到曲面
设模型只有两个可训练参数 和 ,损失函数可写成 。每组参数都会得到一个损失值,因此点 可以画在三维空间中,所有点连起来就形成损失函数曲面。
真实神经网络通常拥有成千上万个参数,无法直接画出完整曲面。二维或三维图只是高维损失空间的切片,但它能帮助我们理解优化器在参数空间中的移动方式。

盆地:容易停留的低损失区域
盆地是周围较高、中央较低的区域。梯度下降进入盆地后,参数通常会继续向底部移动。在当前参数坐标和选定方向上,宽而浅的盆地表示一定幅度的扰动只引起较小的训练损失变化。参数重新缩放后宽度可能改变,因此泛化表现仍要通过独立数据评估。
盆地底部不一定只有一个点。高维模型中,许多不同参数组合可能产生近似相同的损失,于是低损失区域可能是一片连续区域,而不是孤立的最低点。
峡谷:方向差异造成震荡
峡谷是一条狭长的低损失通道:横向坡度很陡,纵向坡度却很缓。若学习率较大,参数会在峡谷两侧来回震荡;若学习率过小,又会沿着谷底前进得很慢。
例如 ,两方向的更新倍率分别为 、。当 时,两者的绝对值均小于 , 会变号但振幅逐步缩小。当 时, 的倍率变成 ,该方向在振荡中远离最低点。可用第 5 章的误差递推逐方向核对。动量法可以积累稳定方向上的速度,Adam 等自适应优化器则会调整各参数的步长,从而减轻峡谷带来的训练困难。
平坦区域:梯度很小但未必最优
平坦区域中的曲面高度变化很慢,因此梯度 接近零。优化器在这里获得的方向信息很弱,参数更新幅度会变小,训练看起来像“停住了”。
平坦并不等于已经找到最优解。它可能位于低损失盆地,也可能只是高损失平台。判断训练是否有效,不能只看梯度大小,还要同时观察损失值、验证集指标和持续若干轮的变化趋势。
如何读训练中的曲面现象
训练日志中的波动也会受到小批量抽样和随机增强影响。可在同一批固定评估数据上比较连续检查点的损失,并同时记录梯度范数和参数更新幅度。若固定数据上的损失也出现振荡,再检查学习率及方向尺度。
实际排查时,应先检查学习率。震荡明显时可减小学习率或使用动量;下降过慢时可尝试学习率调度、自适应优化器或更合适的参数初始化。曲面视角的价值不是精确画出高维空间,而是把训练曲线背后的优化困难转化为可理解的几何问题。