高等数学 / 系统课时

海森矩阵

海森矩阵

海森矩阵把多元函数的全部二阶偏导组织成一个矩阵,使“不同方向弯曲多少”可以统一计算。本课将从矩阵结构、方向曲率和特征值三个角度建立可直接用于优化问题的理解。

学习目标

  • 正确写出二元与多元函数的海森矩阵
  • 用二次型解释任意方向的曲率
  • 根据特征值判断局部极小、极大或鞍形

海森矩阵的结构

对二阶可微函数 f:Rn→Rf:\mathbb{R}^n\to\mathbb{R},海森矩阵记为 H(x)H(\mathbf{x}) 或 ∇2f(x)\nabla^2 f(\mathbf{x}):

H(x)=[∂2f∂x12⋯∂2f∂x1∂xn⋮⋱⋮∂2f∂xn∂x1⋯∂2f∂xn2]H(\mathbf{x})= \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1\partial x_n}\\ \vdots & \ddots & \vdots\\ \frac{\partial^2 f}{\partial x_n\partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}

主对角线元素描述各坐标轴方向的二阶变化,非对角线元素是混合偏导,反映变量之间的曲率耦合。若二阶偏导在邻域内连续,则混合偏导相等,海森矩阵就是对称矩阵。

方向曲率与特征值

沿单位方向 d\mathbf{d} 观察函数,方向二阶导数为:

Dd2f(x)=dTH(x)dD_{\mathbf{d}}^2f(\mathbf{x})=\mathbf{d}^T H(\mathbf{x})\mathbf{d}

这说明海森矩阵定义了一个二次型。给定方向后,正值表示向上弯,负值表示向下弯,绝对值越大表示该方向曲率越强。对称海森矩阵可以选取一组正交归一的特征向量。各自对应的特征值等于沿该单位方向的二阶导数。重复特征值允许在相应子空间中选不同的正交基。

海森矩阵的特征方向与等高线曲率

若函数在驻点 x0\mathbf{x}_0 附近二阶连续可微,可根据该点海森矩阵的特征值符号判断局部形状。

海森矩阵特征值 局部形状 常见结论
全部为正 各方向向上弯 严格局部极小值
全部为负 各方向向下弯 严格局部极大值
有正有负 不同方向弯曲相反 鞍点
半正定或半负定且含零 某些方向二阶信息不足 不能仅靠二阶判定

有零特征值且其余特征值同号,甚至全部为零时,二阶信息不足。如果已经同时存在正负特征值,额外的零特征值并不妨碍判为鞍点。

主示例与优化应用

设:

f(x,y)=x2+xy+2y2f(x,y)=x^2+xy+2y^2

梯度为:

∇f(x,y)=[2x+yx+4y]\nabla f(x,y)= \begin{bmatrix} 2x+y\\ x+4y \end{bmatrix}

令梯度为零,得到唯一驻点 (0,0)(0,0)。海森矩阵为:

H=[2114]H= \begin{bmatrix} 2 & 1\\ 1 & 4 \end{bmatrix}

它的特征值为 3−23-\sqrt{2} 和 3+23+\sqrt{2},两者都大于零,因此 HH 正定,(0,0)(0,0) 是严格局部极小点。由于该函数本身就是正定二次型,这里实际上还是全局极小点。

对损失函数 L(θ)L(\boldsymbol{\theta}),梯度给出一阶下降信息,海森矩阵描述参数空间的局部曲率。牛顿法使用:

Δθ=−H−1∇L\Delta\boldsymbol{\theta}=-H^{-1}\nabla L

它会按不同方向的曲率调整步长。但完整海森矩阵需要 O(n2)O(n^2) 存储,高维模型通常改用海森向量积、对角近似或拟牛顿方法。牛顿方向在当前迭代点求解 HΔθ=−∇LH\Delta\boldsymbol{\theta}=-\nabla L。梯度非零时才有需要更新的位置,海森矩阵接近奇异时要检查线性求解的条件数。在判别一个已知驻点时,再用特征值的正负和容差判断局部形状。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

海森矩阵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通