AI 与工程数学 / 系统课时

用 Hessian 判断函数凸性

用 Hessian 判断函数凸性

多变量函数很难只凭曲面外观判断凸性。对于二阶可微函数,Hessian 把各方向上的二阶曲率集中到一个矩阵中:只要在凸定义域内处处半正定,就能判定函数凸。本节同时用特征值数值验证二次函数的判定结果。

学习目标

  • 从一维二阶导数过渡到多维 Hessian 判据
  • 用 Hessian 的半正定性判断典型函数是否凸
  • 使用特征值计算验证二次函数的凸性与非凸性

从二阶导数理解 Hessian

一维二阶可微函数 f(x)f(x) 在区间上满足

f′′(x)≥0f''(x)\ge0

时,它的斜率不会随 xx 增大而下降,图像整体呈“向上弯”的形态,因此 ff 是凸函数。若处处满足 f′′(x)>0f''(x)>0,通常可以进一步得到严格凸性。

多变量函数没有唯一的“左右方向”,需要同时检查所有方向的曲率。对 f:Rn→Rf:\mathbb{R}^n\to\mathbb{R},Hessian 定义为所有二阶偏导数组成的矩阵:

∇2f(x)=[∂2f∂x12⋯∂2f∂x1∂xn⋮⋱⋮∂2f∂xn∂x1⋯∂2f∂xn2].\nabla^2 f(x)= \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1\partial x_n}\\ \vdots & \ddots & \vdots\\ \frac{\partial^2 f}{\partial x_n\partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.

对任意方向向量 vv,二次型

vT∇2f(x)vv^T\nabla^2 f(x)v

描述函数沿该方向的二阶曲率。因此,在凸定义域内,如果任意 xx 都满足 ∇2f(x)⪰0\nabla^2 f(x)\succeq0,即对所有 vv 都有 vT∇2f(x)v≥0v^T\nabla^2 f(x)v\ge0,那么 ff 是凸函数。

Hessian 特征值与曲率关系

二次函数可以直接看矩阵

考虑二次函数

f(x)=12xTQx+qTx+c,f(x)=\frac12x^TQx+q^Tx+c,

其中 QQ 为对称矩阵。它的 Hessian 就是常数矩阵

∇2f(x)=Q.\nabla^2f(x)=Q.

因此问题立刻变成矩阵判定:Q⪰0Q\succeq0 时函数凸,Q≻0Q\succ0 时函数严格凸;如果 QQ 存在负特征值,就存在某个方向使二阶曲率为负,函数不是凸函数。

例如

f(x,y)=x2+2xy+3y2f(x,y)=x^2+2xy+3y^2

对应 Hessian

H=[2226].H= \begin{bmatrix} 2&2\\ 2&6 \end{bmatrix}.

它的两个特征值都为正,所以 Hessian 正定,该函数是严格凸函数。相比逐个方向检查 vTHvv^THv,数值计算特征值通常更方便。

用特征值数值验证

下面同时验证一个凸二次函数和一个马鞍形非凸函数。对于实对称 Hessian,使用 numpy.linalg.eigvalsh 比通用特征值函数更合适,因为它专门处理 Hermitian 或实对称矩阵,并返回实数特征值。

python
import numpy as np


def classify_hessian(hessian: np.ndarray, tol: float = 1e-10) -> str:
    eigenvalues = np.linalg.eigvalsh(hessian)
    if np.all(eigenvalues > tol):
        return f"positive definite: {eigenvalues}"
    if np.all(eigenvalues >= -tol):
        return f"positive semidefinite: {eigenvalues}"
    return f"not positive semidefinite: {eigenvalues}"


convex_hessian = np.array([[2.0, 2.0], [2.0, 6.0]])
saddle_hessian = np.array([[2.0, 0.0], [0.0, -2.0]])

print(classify_hessian(convex_hessian))
print(classify_hessian(saddle_hessian))

预期输出中的小数末位可能因数值库而略有差异,但符号应保持一致:

text
positive definite: [1.17157288 6.82842712]
not positive semidefinite: [-2.  2.]

第一组特征值全部为正,对应严格凸二次函数;第二组同时出现正值和负值,说明不同方向上存在相反曲率,因此对应马鞍面而不是凸函数。

Hessian 不是只算一个点

对一般非二次函数,Hessian 会随 xx 改变。要利用二阶判据证明函数在某个凸定义域上凸,需要证明定义域中每一点的 Hessian 都半正定,而不是只在初始点或某个样本点计算一次。

例如一维指数函数 f(x)=exf(x)=e^x 满足 f′′(x)=ex>0f''(x)=e^x>0,因此在整个实数域严格凸。多维函数也遵循同样逻辑,只是标量二阶导数被 Hessian 矩阵取代。

如果某个点的 Hessian 已经出现负特征值,就可以立即否定该区域上的凸性;但随机检查很多点都没有负特征值,仍然只是数值证据,不能自动成为全局数学证明。

使用二阶判据时的边界

Hessian 判据要求函数具有足够的二阶可微性,并且讨论凸性时定义域本身应是凸集。像绝对值函数 ∣x∣|x| 在 x=0x=0 不可二阶微分,但它仍然是凸函数,因此“无法计算 Hessian”不等于“函数非凸”。这类函数应回到凸函数定义、一阶条件或已知凸函数组合规则判断。

实际建模时可以按一个简单顺序处理:先确认定义域是凸集,再检查函数是否二阶可微;若可以写出 Hessian,就分析其半正定性,最后把特征值计算作为代数结果的数值验证,而不是把有限采样误当成完整证明。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Hessian 判断函数凸性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通