AI 与工程数学 / 系统课时

用二阶导数判断局部曲率

用二阶导数判断局部曲率

训练模型时,即使梯度方向正确,学习率过大也可能使损失反复震荡甚至发散。二阶导数能够描述目标函数在当前位置的弯曲程度,帮助我们判断局部形状、估计安全步长,并解释为什么不同方向需要不同的更新幅度。

学习目标

  • 计算常见目标函数的一阶、二阶导数,并判断局部曲率。
  • 根据曲率推导梯度下降的稳定步长范围。
  • 区分正曲率、负曲率与零曲率,理解非凸优化中的判断边界。

二阶导数怎样描述曲率

对于一元可二阶求导函数 f(x)f(x),一阶导数 f′(x)f'(x) 描述斜率,二阶导数 f′′(x)f''(x) 描述斜率随位置变化的速度。

  • f′′(x)>0f''(x)>0:局部向上弯曲,斜率随 xx 增大而增加。
  • f′′(x)<0f''(x)<0:局部向下弯曲,斜率随 xx 增大而减小。
  • f′′(x)=0f''(x)=0:仅凭该点的二阶导数无法确定局部形状。

例如 f(x)=3x2f(x)=3x^2,其导数为:

f′(x)=6x,f′′(x)=6f'(x)=6x,\qquad f''(x)=6

二阶导数始终为正,表示函数处处向上弯曲。在 x=2x=2 处,梯度是 1212,而曲率指标是 66;两者反映的是不同信息。

需要注意,f′′(x)f''(x) 是优化中常用的二阶曲率指标,并非几何曲线的精确曲率。后者还受一阶导数影响。

正负曲率与零二阶导数的函数形状对比

通过典型函数计算局部曲率

判断一个驻点是否为局部极值,通常先解 f′(x)=0f'(x)=0,再检查驻点的二阶导数。

目标函数 一阶导数 二阶导数 驻点判断
x2x^2 2x2x 22 x=0x=0 为严格局部极小值
−x2-x^2 −2x-2x −2-2 x=0x=0 为严格局部极大值
x4x^4 4x34x^3 12x212x^2 x=0x=0 二阶检验不确定,实际为严格极小值
x3x^3 3x23x^2 6x6x x=0x=0 二阶检验不确定,实际不是极值

表中的 x4x^4 和 x3x^3 都在原点具有零二阶导数,但结论不同。这说明二阶导数为零不等于函数平坦到没有极值,也不等于一定存在拐点。

再考虑非凸函数:

f(x)=x4−2x2f(x)=x^4-2x^2

计算得到:

f′(x)=4x3−4x,f′′(x)=12x2−4f'(x)=4x^3-4x,\qquad f''(x)=12x^2-4

令一阶导数为零,得到三个驻点:x=−1,0,1x=-1,0,1。

  • x=−1x=-1 和 x=1x=1:二阶导数均为 88,是严格局部极小值,函数值均为 −1-1。
  • x=0x=0:二阶导数为 −4-4,是严格局部极大值,函数值为 00。

这个函数同时存在两个谷底和一个峰顶,说明非凸目标的局部形状可能随位置改变,不能只观察某个点的曲率就推断整个函数的形状。

曲率如何限制梯度下降步长

梯度下降的一维更新规则是:

xt+1=xt−ηf′(xt)x_{t+1}=x_t-\eta f'(x_t)

其中 η>0\eta>0 为学习率。考虑标准二次函数:

f(x)=a2x2,a>0f(x)=\frac{a}{2}x^2,\qquad a>0

由于 f′(x)=axf'(x)=ax、f′′(x)=af''(x)=a,更新式变成:

xt+1=(1−ηa)xtx_{t+1}=(1-\eta a)x_t

要使迭代从任意初始点收敛到 00,必须满足:

∣1−ηa∣<1|1-\eta a|<1

整理得到严格的稳定收敛范围:

0<η<2a0<\eta<\frac{2}{a}

例如选择 f(x)=5x2f(x)=5x^2,其二阶导数为 1010,因此学习率需要满足 0<η<0.20<\eta<0.2。

从初始点 x0=2x_0=2 出发,比较三种设置:

学习率 更新倍率 1−10η1-10\eta 迭代表现
0.050.05 0.50.5 同侧逐步收敛
0.150.15 −0.5-0.5 两侧交替、逐步收敛
0.250.25 −1.5-1.5 两侧交替、幅度扩大

η=0.2\eta=0.2 时倍率为 −1-1,除非已在最优点,否则会等幅往返而不收敛。η=0.1\eta=0.1 时,该精确二次函数可一步到达最优点。

不同学习率在高曲率二次函数上的迭代轨迹

使用 Python 验证步长结论

下面的完整示例使用 Python 3 标准库,不依赖 NumPy。分别运行三种学习率,每次执行五步梯度下降,观察参数是否靠近最优点。

python
# 目标函数 f(x)=5*x*x,其梯度为 10*x

def gradient_descent(learning_rate, steps=5):
    x = 2.0
    for _ in range(steps):
        x -= learning_rate * 10 * x
    return x, 5 * x * x


if __name__ == "__main__":
    for lr in (0.05, 0.15, 0.25):
        x, loss = gradient_descent(lr)
        print(f"lr={lr:.2f}, x={x:.6f}, loss={loss:.6f}")

预期输出:

text
lr=0.05, x=0.062500, loss=0.019531
lr=0.15, x=-0.062500, loss=0.019531
lr=0.25, x=-15.187500, loss=1153.330078

前两组经过五步后损失都明显下降,但第二组参数在最优点两侧交替。第三组损失大幅上升,说明梯度方向虽然正确,学习率仍可能导致发散。

这里的 2/a2/a 是正曲率二次函数的严格收敛上界,不是所有非线性函数在任意位置都适用的全局安全学习率。一般光滑函数需要结合梯度的 Lipschitz 常数或线搜索判断步长。

多维模型中的曲率与训练难点

神经网络参数通常是向量 θ\boldsymbol{\theta},多维情况下使用 Hessian 矩阵描述二阶变化:

Hij=∂2f∂θi∂θjH_{ij}=\frac{\partial^2 f}{\partial\theta_i\partial\theta_j}

例如二维目标函数:

f(x,y)=50x2+12y2f(x,y)=50x^2+\frac{1}{2}y^2

它的 Hessian 为:

H=[100001]H=\begin{bmatrix}100&0\\0&1\end{bmatrix}

沿 xx 方向曲率为 100100,沿 yy 方向曲率为 11。对于固定学习率的梯度下降,两个方向分别要求 0<η<0.020<\eta<0.02 和 0<η<20<\eta<2,整体收敛必须满足更严格的 0<η<0.020<\eta<0.02。

如果选 η=0.01\eta=0.01,xx 分量一步归零,但 yy 分量每次只缩小到原来的 0.990.99,需要约 459459 步才能缩小到初始值的 1%1\% 以下。这就是不同方向曲率差异过大时,固定学习率可能导致某些方向收敛缓慢的原因。

对于 Hessian 对称的二阶可微函数,可以用特征值判断驻点的局部性质:

  • 全部特征值大于零:Hessian 正定,驻点是严格局部极小值。
  • 全部特征值小于零:Hessian 负定,驻点是严格局部极大值。
  • 同时存在正、负特征值:Hessian 不定,驻点是鞍点。
  • 存在零特征值且没有正负混合:二阶检验可能无法给出完整结论,需要进一步分析。

在多维正定二次目标中,固定学习率梯度下降的稳定区间为 0<η<2/λmax⁡0<\eta<2/\lambda_{\max},其中 λmax⁡\lambda_{\max} 是 Hessian 最大特征值。

实际训练非凸神经网络时,Hessian 可能随参数变化,而且计算完整矩阵代价很高。因此,二阶分析更适合用于解释局部训练行为、诊断病态曲率与选择优化策略,而不应简单理解成每一步都要显式计算完整 Hessian。

遇到损失震荡时,可先尝试减小学习率;遇到不同方向收敛速度差异明显时,再考虑参数缩放、预条件方法或自适应优化器。通过二阶导数理解这些现象,能够把学习率调整从盲目试数值变成有依据的诊断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用二阶导数判断局部曲率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通