AI 与工程数学 / 系统课时

把梯度 Hessian 和约束传给求解器

把梯度 Hessian 和约束传给求解器

这一节解决一个实际问题:怎样把已经知道的目标函数梯度、Hessian、变量边界和约束结构准确交给 SciPy,而不是让求解器反复做数值差分。完成后,你会得到一个接口清晰、维度可检查、能够直接运行并验证约束的最小示例。

学习目标

  • 理解 jac、hess、bounds 和 constraints 分别向求解器提供什么信息
  • 能按 SciPy 约定写出正确的函数签名与数组维度
  • 能运行一个带解析梯度、Hessian、边界和线性约束的问题并验证结果

求解器真正需要哪些结构信息

以 scipy.optimize.minimize 为例,目标函数始终围绕一个长度为 n 的变量向量 x。如果能够解析计算导数,就可以把这些信息显式传入,从而避免求解器为估计导数进行额外的目标函数调用。

fun(x) 返回标量目标值;jac(x) 返回形状为 (n,) 的梯度;hess(x) 返回形状为 (n, n) 的 Hessian。bounds 描述每个变量自己的上下界,而 constraints 描述多个变量之间必须共同满足的等式或不等式关系。

这些参数并不是对所有算法都有效。选择求解方法时,要确认该方法是否支持你准备提供的信息。例如 trust-constr 可以同时处理解析梯度、Hessian、边界和约束,因此适合观察这些接口如何协同工作。

一个完整的约束优化示例

下面最小化 (x0 - 1)^2 + (x1 - 2)^2。同时要求两个变量非负,并满足 x0 + x1 >= 2。理论上的无约束最优点 (1, 2) 本身满足全部约束,因此求解结果应该非常接近这个点。

python
import numpy as np
from scipy.optimize import Bounds, LinearConstraint, minimize

def objective(x):
    return (x[0] - 1.0) ** 2 + (x[1] - 2.0) ** 2

def gradient(x):
    # 梯度必须是一维数组,长度与变量个数一致
    return np.array([
        2.0 * (x[0] - 1.0),
        2.0 * (x[1] - 2.0),
    ])

def hessian(x):
    # 目标函数为二次函数,因此 Hessian 是常量矩阵
    return np.array([
        [2.0, 0.0],
        [0.0, 2.0],
    ])

x0 = np.array([0.2, 0.2])

bounds = Bounds(
    lb=np.array([0.0, 0.0]),
    ub=np.array([np.inf, np.inf]),
)

linear_constraint = LinearConstraint(
    A=np.array([[1.0, 1.0]]),
    lb=np.array([2.0]),
    ub=np.array([np.inf]),
)

result = minimize(
    objective,
    x0,
    method='trust-constr',
    jac=gradient,
    hess=hessian,
    bounds=bounds,
    constraints=[linear_constraint],
)

print('success:', result.success)
print('near_optimum:', np.allclose(result.x, [1.0, 2.0], atol=1e-4))
print('objective_small:', result.fun < 1e-8)
print('constraint_ok:', result.x.sum() >= 2.0 - 1e-8)

预期输出

text
success: True
near_optimum: True
objective_small: True
constraint_ok: True

不同 SciPy 版本、容差和浮点环境下,最终坐标可能在 (1, 2) 附近保留极小误差。因此验证数值优化结果时,应使用合理容差,而不是要求浮点数逐位等于理论值。

函数签名和维度最容易出错

当变量维度为 n 时,最基本的接口约定是:fun 输出一个标量,jac 输出长度为 n 的一维数组,hess 输出 n × n 矩阵。使用 LinearConstraint 时,矩阵 A 的列数也必须等于变量个数;存在 m 条线性约束时,A 的形状应为 (m, n)。

Bounds 的上下界可以利用广播规则,但工程代码更推荐显式写成与变量数量一致的数组,这样漏掉某个变量或顺序写错时更容易发现。对于 NonlinearConstraint,如果约束函数返回 m 个值,其 Jacobian 应为 (m, n)。

如果还要给非线性约束提供二阶信息,需要特别注意其 Hessian 接口与目标函数不同。目标函数通常使用 hess(x),而非线性约束的 Hessian 接口需要同时接收 x 和求解器提供的乘子权重 v。

什么时候值得显式提供导数

目标函数单次计算很贵、变量较多,或者有限差分会造成大量额外函数调用时,显式提供解析梯度通常最有价值。若 Hessian 也容易准确得到,支持二阶信息的算法还可以利用曲率选择更合适的搜索方向。

反过来,如果函数本身不可微、解析导数实现容易出错,或者问题规模很小,数值近似可能更加省事。手写导数后最好单独做数值校验,因为一个符号错误就可能表现为迭代缓慢、线搜索失败,甚至让求解器在错误位置宣布收敛。

真正需要保证的不是“所有参数都传进去”,而是目标函数、导数、变量顺序、边界和约束描述的是同一个数学问题,并且每个函数的输入输出维度完全符合求解器接口约定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

把梯度 Hessian 和约束传给求解器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通