AI 与工程数学 / 系统课时

用 Hessian 读取局部曲率

用 Hessian 读取局部曲率

Hessian 把多元函数在某一点附近的二阶变化压缩成一个矩阵。学会读取它,你就能判断某个方向是向上弯、向下弯还是近似平坦,并进一步区分局部极小、局部极大和鞍点,为凸性判断与牛顿法打下基础。

学习目标

  • 会从二阶偏导写出 Hessian,并理解二次型 dTHdd^T H d 的几何含义
  • 会用特征值区分正定、半正定、负定和不定
  • 能把 Hessian 的谱性质与极小值、平坦方向和鞍点联系起来

Hessian 描述什么

设 f:Rn→Rf:\mathbb{R}^n\to\mathbb{R} 二阶可微,在点 xx 的 Hessian 记作

H(x)=∇2f(x)=[∂2f∂x12⋯∂2f∂x1∂xn⋮⋱⋮∂2f∂xn∂x1⋯∂2f∂xn2].H(x)=\nabla^2 f(x)= \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1\partial x_n}\\ \vdots & \ddots & \vdots\\ \frac{\partial^2 f}{\partial x_n\partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.

梯度告诉你“往哪边变化最快”,Hessian 则告诉你“这种变化率本身如何变化”。沿方向 dd 看局部曲率时,关键量是二次型 dTHdd^T H d:它大于零表示该方向向上弯,小于零表示向下弯,接近零则说明该方向的二阶变化很弱。

Hessian 特征值与局部曲面形状的对应关系

用特征值判断曲率

对于二阶连续可微函数,Hessian 是对称矩阵,因此其特征值都是实数。把 Hessian 理解为在一组主方向上的独立曲率后,判断局部形状就很直接。

  • 所有特征值都大于零:Hessian 正定,所有非零方向都向上弯。
  • 所有特征值都不小于零,且至少一个为零:Hessian 半正定,可能存在平坦方向。
  • 所有特征值都小于零:Hessian 负定,所有非零方向都向下弯。
  • 同时存在正、负特征值:Hessian 不定,不同方向的弯曲方向相反。

在驻点 ∇f(x∗)=0\nabla f(x^*)=0 处,正定 Hessian 足以推出严格局部极小,负定对应严格局部极大,不定则对应鞍点。半正定只说明二阶近似中没有发现向下弯方向,不能单靠这一点断言一定是局部极小。

一个二维例子

考虑函数

f(x,y)=x2+4xy+5y2f(x,y)=x^2+4xy+5y^2

它的 Hessian 与位置无关:

H=[24410]H= \begin{bmatrix} 2 & 4 \\ 4 & 10 \end{bmatrix}

对于对称 2×22\times2 矩阵,可以用 Sylvester 判据快速判断正定性。第一个顺序主子式为 2>02>0,行列式为 2×10−4×4=4>02\times10-4\times4=4>0,所以 HH 正定。因此函数在所有非零方向上都有正曲率,驻点 (0,0)(0,0) 是严格局部极小点。

下面用纯 Python 对三个二维对称 Hessian 做快速分类:

python
def classify_hessian(a, b, c):
    # Hessian 形如 [[a, b], [b, c]]
    det = a * c - b * b
    if a > 0 and det > 0:
        return "正定"
    if a < 0 and det > 0:
        return "负定"
    if det < 0:
        return "不定"
    return "退化,需要继续判断"

cases = {
    "bowl": (2, 4, 10),
    "saddle": (2, 0, -3),
    "flat": (2, 0, 0),
}

for name, params in cases.items():
    print(name, classify_hessian(*params))

预期输出:

text
bowl 正定
saddle 不定
flat 退化,需要继续判断

这里的快捷判别针对二维对称矩阵。更高维时通常检查全部特征值,或使用 Cholesky 分解、Sylvester 判据等方法判断正定性。

曲率如何影响优化算法

Hessian 的特征值不仅决定弯曲方向,也决定弯曲强度。如果最大特征值与最小正特征值相差很大,等高线往往又长又窄,梯度下降容易在陡峭方向来回摆动,却在平缓方向推进很慢。

牛顿法直接利用 Hessian 构造局部步长:

p=−H(x)−1∇f(x)p=-H(x)^{-1}\nabla f(x)

当 HH 正定时,这个方向具有良好的局部几何意义;若 HH 不定,直接使用牛顿方向甚至可能走向上升方向,因此实际算法常加入阻尼、线搜索或对 Hessian 做正定修正。

真正需要掌握的是这条关系:二阶偏导组成 Hessian,Hessian 的特征值给出主方向曲率,而主方向曲率决定驻点附近的几何形状,也决定二阶优化方法能否安全地相信当前局部模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Hessian 读取局部曲率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通