高等数学 / 系统课时

鞍点

鞍点

本课讨论光滑函数的驻点型鞍点。其梯度为零,且任意小的邻域内都有函数值更高和更低的位置。理解不同方向上同时存在上升和下降的结构,有助于判断优化算法为何会在某些平坦区域减速或暂时停滞。

学习目标

  • 理解鞍点在不同方向上的变化特征
  • 使用海森矩阵识别典型鞍点
  • 说明鞍点对机器学习模型训练的影响

什么是鞍点

设 x0\boldsymbol{x}_0 是驻点。若在它的每个邻域内都能找到比 f(x0)f(\boldsymbol{x}_0) 大和小的函数值,这里称它为鞍点。沿两条直线分别观察到正负变化可以证明这一点,某些退化情形则需要沿曲线检查。

单凭梯度为零不能完成分类,还需要检查附近的函数值。它在一个截面上看起来像谷底,在另一个截面上却像山顶。最典型的二元函数是:

f(x,y)=x2−y2f(x,y)=x^2-y^2

在原点处,梯度为零:

∇f(0,0)=(0,0)\nabla f(0,0)=(0,0)

沿 xx 轴移动时,f(x,0)=x2>0f(x,0)=x^2>0,函数值上升;沿 yy 轴移动时,f(0,y)=−y2<0f(0,y)=-y^2<0,函数值下降。因此原点不是极值点,而是鞍点。

鞍点的空间结构

鞍点曲面与不同方向变化示意

鞍点可以通过方向二阶导数理解。对单位方向 u\boldsymbol{u},驻点处沿该方向的二阶变化为:

Du2f=uTHuD_{\boldsymbol{u}}^2f=\boldsymbol{u}^{\mathrm T}H\boldsymbol{u}

如果存在方向使该值为正,同时也存在方向使该值为负,那么函数局部曲率的符号会随方向改变,海森矩阵因此是不定矩阵。对 f(x,y)=x2−y2f(x,y)=x^2-y^2,海森矩阵为:

H=[200−2]H=\begin{bmatrix}2&0\\0&-2\end{bmatrix}

其特征值分别为 22 和 −2-2。正特征值对应向上弯曲的方向,负特征值对应向下弯曲的方向。正负特征值同时存在,直接说明原点是鞍点。

鞍点与局部极值的区别

局部最小值附近不存在下降方向,局部最大值附近不存在上升方向;鞍点附近则两类方向同时存在。三者都可能满足梯度为零,因此只检查梯度会产生误判。

驻点类型 邻域中的函数值 可据此判定的特征值条件
严格局部最小值 邻域其余点的函数值更大 全部为正
严格局部最大值 邻域其余点的函数值更小 全部为负
鞍点 任意邻域都有更大和更小的值 同时有正值和负值

需要注意,部分鞍点可能存在零特征值。例如 f(x,y)=(y−x2)2−x6f(x,y)=(y-x^2)^2-x^6 在原点的海森矩阵半正定。沿任意固定直线经过原点,足够接近时函数值都为正。沿曲线 y=x2y=x^2 时却等于 −x6<0-x^6<0(xx 非零),因此原点仍是鞍点。

鞍点对模型训练的影响

神经网络的损失函数通常位于高维参数空间。在高维空间中,沿少数参数坐标观察可能错过负曲率方向。鞍点出现的频率取决于目标函数与训练过程。

当优化器接近鞍点时,梯度可能很小,参数更新速度随之下降。从训练曲线上看,损失可能长时间变化缓慢,但这不代表模型已经到达最优解,因为仍然可能存在能够继续降低损失的方向。

带有动量的梯度下降、随机梯度噪声以及利用曲率信息的方法,都可能帮助参数离开鞍点附近。例如对 x2−y2x^2-y^2 使用确定性梯度下降,若从 y=0y=0 出发,更新始终留在 y=0y=0,可能趋向鞍点。若初始 yy 非零,正步长会放大这个方向的分量。能否逃离取决于初始化和实际更新规则。

判断鞍点的实用顺序

判断一个候选点时,可以先求梯度并确认它是否为驻点,再计算海森矩阵。如果海森矩阵同时具有正特征值和负特征值,就可以确认该点为鞍点。

如果海森矩阵包含零特征值,则应继续检查特殊方向上的函数变化。实际数值计算中,接近零的特征值还可能受到浮点误差影响,因此需要结合容差,而不能机械地与零进行完全相等比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

鞍点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通