AI 与工程数学 / 系统课时

为 minimize 选择合适求解方法

为 minimize 选择合适求解方法

scipy.optimize.minimize 的方法不是越高级越好,真正决定选择的是约束类型、问题规模以及能否提供梯度和 Hessian 等导数信息。本节建立一套可操作的选择顺序,并用盒约束问题演示为什么应选 L-BFGS-B 而不是随意指定算法。

学习目标

  • 根据无约束、盒约束和一般约束快速缩小求解方法范围
  • 理解梯度、Hessian 和问题规模如何影响最终选择
  • 从 success、目标值和约束满足情况判断求解是否可信

先用约束类型排除不合适的方法

选择 minimize 方法时,最有效的第一步不是比较算法名称,而是先看模型允许什么约束。

方法 适合的问题 主要限制
BFGS 光滑无约束问题 不处理 bounds 和一般约束
L-BFGS-B 大中型光滑盒约束问题 只处理变量上下界
SLSQP 盒约束以及光滑等式、不等式约束 对缩放和初值可能较敏感
trust-constr 一般约束、结构更复杂的问题 配置项更多,单步计算通常更重

因此,无约束问题可以先考虑 BFGS;只有变量上下界时优先考虑 L-BFGS-B;出现 g(x)≤0g(x)\le0 或 h(x)=0h(x)=0 等一般约束时,才把重点转向 SLSQP 和 trust-constr。

SciPy minimize 方法选择流程

再根据导数和规模做第二次选择

BFGS 和 L-BFGS-B 都属于利用梯度信息的局部优化方法。如果能够准确提供 jac,通常比让 SciPy 用有限差分估计梯度更稳定,也能减少目标函数调用次数。变量很多而 Hessian 不便显式构造时,L-BFGS-B 的有限内存特性尤其有价值。

SLSQP 适合中小规模、约束数量有限且函数比较光滑的问题,工程中常用于快速解决带等式或不等式约束的参数优化。trust-constr 则提供更系统的一般约束框架,并能进一步利用 Jacobian、Hessian 和稀疏结构,更适合结构复杂或者需要更强诊断能力的问题。

用盒约束问题选择 L-BFGS-B

下面最小化 Rosenbrock 函数,并明确要求两个变量都限制在 [0, 2]。问题只有变量上下界,没有一般等式或不等式约束,因此 L-BFGS-B 比 BFGS 更匹配模型,也没有必要使用更重的通用约束算法。

python
import numpy as np
from scipy.optimize import minimize

def objective(x):
    x1, x2 = x
    return 100.0 * (x2 - x1**2) ** 2 + (1.0 - x1) ** 2

def gradient(x):
    x1, x2 = x
    # 显式梯度避免 minimize 再通过有限差分估计导数
    return np.array([
        -400.0 * x1 * (x2 - x1**2) - 2.0 * (1.0 - x1),
        200.0 * (x2 - x1**2),
    ])

result = minimize(
    objective,
    x0=np.array([0.2, 2.0]),
    jac=gradient,
    bounds=[(0.0, 2.0), (0.0, 2.0)],
    method="L-BFGS-B",
)

print(f"success={result.success}")
print(f"x1={result.x[0]:.6f}, x2={result.x[1]:.6f}")
print(f"fun={result.fun:.6f}")

预期输出

text
success=True
x1=1.000000, x2=1.000000
fun=0.000000

受 SciPy 版本、浮点误差和停止容差影响,最后几位可能略有不同。核心检查是解应非常接近 (1, 1),目标值接近 0,而且两个变量始终满足 [0, 2] 的边界。

一般约束时区分 SLSQP 和 trust-constr

如果模型增加诸如 x1+x2=1x_1+x_2=1、x1x2≥0.2x_1x_2\ge0.2 这样的约束,L-BFGS-B 就不再适用。约束较少、函数光滑、希望快速得到工程结果时,可以先尝试 SLSQP;如果约束结构复杂、规模更大,或者希望显式提供 LinearConstraint、NonlinearConstraint、Hessian 与稀疏信息,则更适合考虑 trust-constr。

算法选择仍然不能替代模型诊断。同一个非凸问题换成 trust-constr 并不会自动获得全局最优解;不同初值收敛到不同结果时,应优先怀疑局部极值、尺度问题或模型本身,而不是简单继续更换方法名称。

success 只是检查的起点

result.success=True 表示求解器满足了自己的停止条件,并不等价于数学上已经证明答案正确。实际使用时至少还要检查 result.fun 是否合理、result.x 是否满足边界和一般约束,以及梯度或约束残差是否已经足够小。

可以把方法选择压缩成一条稳定的判断顺序:先看有没有一般约束,再看是否只有 bounds,随后考虑导数和规模。无约束优先从 BFGS 开始,盒约束优先 L-BFGS-B,一般约束在 SLSQP 与 trust-constr 之间根据复杂度选择,这比记住一长串算法名称更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为 minimize 选择合适求解方法

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通