AI 与工程数学 / 系统课时
用 Hessian 读取局部曲率
用 Hessian 读取局部曲率
Hessian 把多元函数在某一点附近的二阶变化压缩成一个矩阵。学会读取它,你就能判断某个方向是向上弯、向下弯还是近似平坦,并进一步区分局部极小、局部极大和鞍点,为凸性判断与牛顿法打下基础。
学习目标
- 会从二阶偏导写出 Hessian,并理解二次型 的几何含义
- 会用特征值区分正定、半正定、负定和不定
- 能把 Hessian 的谱性质与极小值、平坦方向和鞍点联系起来
Hessian 描述什么
设 二阶可微,在点 的 Hessian 记作
梯度告诉你“往哪边变化最快”,Hessian 则告诉你“这种变化率本身如何变化”。沿方向 看局部曲率时,关键量是二次型 :它大于零表示该方向向上弯,小于零表示向下弯,接近零则说明该方向的二阶变化很弱。

用特征值判断曲率
对于二阶连续可微函数,Hessian 是对称矩阵,因此其特征值都是实数。把 Hessian 理解为在一组主方向上的独立曲率后,判断局部形状就很直接。
- 所有特征值都大于零:Hessian 正定,所有非零方向都向上弯。
- 所有特征值都不小于零,且至少一个为零:Hessian 半正定,可能存在平坦方向。
- 所有特征值都小于零:Hessian 负定,所有非零方向都向下弯。
- 同时存在正、负特征值:Hessian 不定,不同方向的弯曲方向相反。
在驻点 处,正定 Hessian 足以推出严格局部极小,负定对应严格局部极大,不定则对应鞍点。半正定只说明二阶近似中没有发现向下弯方向,不能单靠这一点断言一定是局部极小。
一个二维例子
考虑函数
它的 Hessian 与位置无关:
对于对称 矩阵,可以用 Sylvester 判据快速判断正定性。第一个顺序主子式为 ,行列式为 ,所以 正定。因此函数在所有非零方向上都有正曲率,驻点 是严格局部极小点。
下面用纯 Python 对三个二维对称 Hessian 做快速分类:
def classify_hessian(a, b, c):
# Hessian 形如 [[a, b], [b, c]]
det = a * c - b * b
if a > 0 and det > 0:
return "正定"
if a < 0 and det > 0:
return "负定"
if det < 0:
return "不定"
return "退化,需要继续判断"
cases = {
"bowl": (2, 4, 10),
"saddle": (2, 0, -3),
"flat": (2, 0, 0),
}
for name, params in cases.items():
print(name, classify_hessian(*params))预期输出:
bowl 正定
saddle 不定
flat 退化,需要继续判断这里的快捷判别针对二维对称矩阵。更高维时通常检查全部特征值,或使用 Cholesky 分解、Sylvester 判据等方法判断正定性。
曲率如何影响优化算法
Hessian 的特征值不仅决定弯曲方向,也决定弯曲强度。如果最大特征值与最小正特征值相差很大,等高线往往又长又窄,梯度下降容易在陡峭方向来回摆动,却在平缓方向推进很慢。
牛顿法直接利用 Hessian 构造局部步长:
当 正定时,这个方向具有良好的局部几何意义;若 不定,直接使用牛顿方向甚至可能走向上升方向,因此实际算法常加入阻尼、线搜索或对 Hessian 做正定修正。
真正需要掌握的是这条关系:二阶偏导组成 Hessian,Hessian 的特征值给出主方向曲率,而主方向曲率决定驻点附近的几何形状,也决定二阶优化方法能否安全地相信当前局部模型。