高等数学 / 系统课时
海森矩阵
海森矩阵
海森矩阵把多元函数的全部二阶偏导组织成一个矩阵,使“不同方向弯曲多少”可以统一计算。本课将从矩阵结构、方向曲率和特征值三个角度建立可直接用于优化问题的理解。
学习目标
- 正确写出二元与多元函数的海森矩阵
- 用二次型解释任意方向的曲率
- 根据特征值判断局部极小、极大或鞍形
海森矩阵的结构
对二阶可微函数 ,海森矩阵记为 或 :
主对角线元素描述各坐标轴方向的二阶变化,非对角线元素是混合偏导,反映变量之间的曲率耦合。若二阶偏导在邻域内连续,则混合偏导相等,海森矩阵就是对称矩阵。
方向曲率与特征值
沿单位方向 观察函数,方向二阶导数为:
这说明海森矩阵定义了一个二次型。给定方向后,正值表示向上弯,负值表示向下弯,绝对值越大表示该方向曲率越强。对称海森矩阵可以选取一组正交归一的特征向量。各自对应的特征值等于沿该单位方向的二阶导数。重复特征值允许在相应子空间中选不同的正交基。

若函数在驻点 附近二阶连续可微,可根据该点海森矩阵的特征值符号判断局部形状。
| 海森矩阵特征值 | 局部形状 | 常见结论 |
|---|---|---|
| 全部为正 | 各方向向上弯 | 严格局部极小值 |
| 全部为负 | 各方向向下弯 | 严格局部极大值 |
| 有正有负 | 不同方向弯曲相反 | 鞍点 |
| 半正定或半负定且含零 | 某些方向二阶信息不足 | 不能仅靠二阶判定 |
有零特征值且其余特征值同号,甚至全部为零时,二阶信息不足。如果已经同时存在正负特征值,额外的零特征值并不妨碍判为鞍点。
主示例与优化应用
设:
梯度为:
令梯度为零,得到唯一驻点 。海森矩阵为:
它的特征值为 和 ,两者都大于零,因此 正定, 是严格局部极小点。由于该函数本身就是正定二次型,这里实际上还是全局极小点。
对损失函数 ,梯度给出一阶下降信息,海森矩阵描述参数空间的局部曲率。牛顿法使用:
它会按不同方向的曲率调整步长。但完整海森矩阵需要 存储,高维模型通常改用海森向量积、对角近似或拟牛顿方法。牛顿方向在当前迭代点求解 。梯度非零时才有需要更新的位置,海森矩阵接近奇异时要检查线性求解的条件数。在判别一个已知驻点时,再用特征值的正负和容差判断局部形状。
按自己的节奏,确认真正理解。