AI 与工程数学 / 系统课时
为 minimize 选择合适求解方法
为 minimize 选择合适求解方法
scipy.optimize.minimize 的方法不是越高级越好,真正决定选择的是约束类型、问题规模以及能否提供梯度和 Hessian 等导数信息。本节建立一套可操作的选择顺序,并用盒约束问题演示为什么应选 L-BFGS-B 而不是随意指定算法。
学习目标
- 根据无约束、盒约束和一般约束快速缩小求解方法范围
- 理解梯度、Hessian 和问题规模如何影响最终选择
- 从
success、目标值和约束满足情况判断求解是否可信
先用约束类型排除不合适的方法
选择 minimize 方法时,最有效的第一步不是比较算法名称,而是先看模型允许什么约束。
| 方法 | 适合的问题 | 主要限制 |
|---|---|---|
| BFGS | 光滑无约束问题 | 不处理 bounds 和一般约束 |
| L-BFGS-B | 大中型光滑盒约束问题 | 只处理变量上下界 |
| SLSQP | 盒约束以及光滑等式、不等式约束 | 对缩放和初值可能较敏感 |
| trust-constr | 一般约束、结构更复杂的问题 | 配置项更多,单步计算通常更重 |
因此,无约束问题可以先考虑 BFGS;只有变量上下界时优先考虑 L-BFGS-B;出现 或 等一般约束时,才把重点转向 SLSQP 和 trust-constr。

再根据导数和规模做第二次选择
BFGS 和 L-BFGS-B 都属于利用梯度信息的局部优化方法。如果能够准确提供 jac,通常比让 SciPy 用有限差分估计梯度更稳定,也能减少目标函数调用次数。变量很多而 Hessian 不便显式构造时,L-BFGS-B 的有限内存特性尤其有价值。
SLSQP 适合中小规模、约束数量有限且函数比较光滑的问题,工程中常用于快速解决带等式或不等式约束的参数优化。trust-constr 则提供更系统的一般约束框架,并能进一步利用 Jacobian、Hessian 和稀疏结构,更适合结构复杂或者需要更强诊断能力的问题。
用盒约束问题选择 L-BFGS-B
下面最小化 Rosenbrock 函数,并明确要求两个变量都限制在 [0, 2]。问题只有变量上下界,没有一般等式或不等式约束,因此 L-BFGS-B 比 BFGS 更匹配模型,也没有必要使用更重的通用约束算法。
import numpy as np
from scipy.optimize import minimize
def objective(x):
x1, x2 = x
return 100.0 * (x2 - x1**2) ** 2 + (1.0 - x1) ** 2
def gradient(x):
x1, x2 = x
# 显式梯度避免 minimize 再通过有限差分估计导数
return np.array([
-400.0 * x1 * (x2 - x1**2) - 2.0 * (1.0 - x1),
200.0 * (x2 - x1**2),
])
result = minimize(
objective,
x0=np.array([0.2, 2.0]),
jac=gradient,
bounds=[(0.0, 2.0), (0.0, 2.0)],
method="L-BFGS-B",
)
print(f"success={result.success}")
print(f"x1={result.x[0]:.6f}, x2={result.x[1]:.6f}")
print(f"fun={result.fun:.6f}")预期输出
success=True
x1=1.000000, x2=1.000000
fun=0.000000受 SciPy 版本、浮点误差和停止容差影响,最后几位可能略有不同。核心检查是解应非常接近 (1, 1),目标值接近 0,而且两个变量始终满足 [0, 2] 的边界。
一般约束时区分 SLSQP 和 trust-constr
如果模型增加诸如 、 这样的约束,L-BFGS-B 就不再适用。约束较少、函数光滑、希望快速得到工程结果时,可以先尝试 SLSQP;如果约束结构复杂、规模更大,或者希望显式提供 LinearConstraint、NonlinearConstraint、Hessian 与稀疏信息,则更适合考虑 trust-constr。
算法选择仍然不能替代模型诊断。同一个非凸问题换成 trust-constr 并不会自动获得全局最优解;不同初值收敛到不同结果时,应优先怀疑局部极值、尺度问题或模型本身,而不是简单继续更换方法名称。
success 只是检查的起点
result.success=True 表示求解器满足了自己的停止条件,并不等价于数学上已经证明答案正确。实际使用时至少还要检查 result.fun 是否合理、result.x 是否满足边界和一般约束,以及梯度或约束残差是否已经足够小。
可以把方法选择压缩成一条稳定的判断顺序:先看有没有一般约束,再看是否只有 bounds,随后考虑导数和规模。无约束优先从 BFGS 开始,盒约束优先 L-BFGS-B,一般约束在 SLSQP 与 trust-constr 之间根据复杂度选择,这比记住一长串算法名称更可靠。