AI 与工程数学 / 系统课时
用 Hessian 判断函数凸性
用 Hessian 判断函数凸性
多变量函数很难只凭曲面外观判断凸性。对于二阶可微函数,Hessian 把各方向上的二阶曲率集中到一个矩阵中:只要在凸定义域内处处半正定,就能判定函数凸。本节同时用特征值数值验证二次函数的判定结果。
学习目标
- 从一维二阶导数过渡到多维 Hessian 判据
- 用 Hessian 的半正定性判断典型函数是否凸
- 使用特征值计算验证二次函数的凸性与非凸性
从二阶导数理解 Hessian
一维二阶可微函数 在区间上满足
时,它的斜率不会随 增大而下降,图像整体呈“向上弯”的形态,因此 是凸函数。若处处满足 ,通常可以进一步得到严格凸性。
多变量函数没有唯一的“左右方向”,需要同时检查所有方向的曲率。对 ,Hessian 定义为所有二阶偏导数组成的矩阵:
对任意方向向量 ,二次型
描述函数沿该方向的二阶曲率。因此,在凸定义域内,如果任意 都满足 ,即对所有 都有 ,那么 是凸函数。

二次函数可以直接看矩阵
考虑二次函数
其中 为对称矩阵。它的 Hessian 就是常数矩阵
因此问题立刻变成矩阵判定: 时函数凸, 时函数严格凸;如果 存在负特征值,就存在某个方向使二阶曲率为负,函数不是凸函数。
例如
对应 Hessian
它的两个特征值都为正,所以 Hessian 正定,该函数是严格凸函数。相比逐个方向检查 ,数值计算特征值通常更方便。
用特征值数值验证
下面同时验证一个凸二次函数和一个马鞍形非凸函数。对于实对称 Hessian,使用 numpy.linalg.eigvalsh 比通用特征值函数更合适,因为它专门处理 Hermitian 或实对称矩阵,并返回实数特征值。
import numpy as np
def classify_hessian(hessian: np.ndarray, tol: float = 1e-10) -> str:
eigenvalues = np.linalg.eigvalsh(hessian)
if np.all(eigenvalues > tol):
return f"positive definite: {eigenvalues}"
if np.all(eigenvalues >= -tol):
return f"positive semidefinite: {eigenvalues}"
return f"not positive semidefinite: {eigenvalues}"
convex_hessian = np.array([[2.0, 2.0], [2.0, 6.0]])
saddle_hessian = np.array([[2.0, 0.0], [0.0, -2.0]])
print(classify_hessian(convex_hessian))
print(classify_hessian(saddle_hessian))预期输出中的小数末位可能因数值库而略有差异,但符号应保持一致:
positive definite: [1.17157288 6.82842712]
not positive semidefinite: [-2. 2.]第一组特征值全部为正,对应严格凸二次函数;第二组同时出现正值和负值,说明不同方向上存在相反曲率,因此对应马鞍面而不是凸函数。
Hessian 不是只算一个点
对一般非二次函数,Hessian 会随 改变。要利用二阶判据证明函数在某个凸定义域上凸,需要证明定义域中每一点的 Hessian 都半正定,而不是只在初始点或某个样本点计算一次。
例如一维指数函数 满足 ,因此在整个实数域严格凸。多维函数也遵循同样逻辑,只是标量二阶导数被 Hessian 矩阵取代。
如果某个点的 Hessian 已经出现负特征值,就可以立即否定该区域上的凸性;但随机检查很多点都没有负特征值,仍然只是数值证据,不能自动成为全局数学证明。
使用二阶判据时的边界
Hessian 判据要求函数具有足够的二阶可微性,并且讨论凸性时定义域本身应是凸集。像绝对值函数 在 不可二阶微分,但它仍然是凸函数,因此“无法计算 Hessian”不等于“函数非凸”。这类函数应回到凸函数定义、一阶条件或已知凸函数组合规则判断。
实际建模时可以按一个简单顺序处理:先确认定义域是凸集,再检查函数是否二阶可微;若可以写出 Hessian,就分析其半正定性,最后把特征值计算作为代数结果的数值验证,而不是把有限采样误当成完整证明。