AI 与工程数学 / 系统课时
用约束优化完成参数设计
用约束优化完成参数设计
这一节处理比线性资源分配更常见的参数设计问题:参数有上下界,性能指标之间还存在非线性约束。我们会用约束优化器求解,并通过约束残差、KKT 驻点条件和不同初值的重复求解判断结果是否可信。
学习目标
- 把参数偏差、上下界和非线性性能指标组合成约束优化模型
- 使用 SLSQP 求解非线性约束问题并检查约束残差
- 用 KKT 相关量和多初值测试判断数值解的可信度与稳定性
建立带性能约束的参数模型
设待设计的两个参数为 和 。理想设计点是 ,因此用 衡量偏离理想值的代价,目标是将它最小化。
设计还必须满足性能指标 ,同时两个参数都限制在 0.5 到 4.0 之间。这里的乘积约束包含两个变量的乘法,因此已经不是线性规划,而是带边界的非线性约束优化问题。

无约束时最优点就是 ,但它的乘积只有 3,不满足性能要求。加入约束后,求解器必须在可行域中寻找距离理想点最近的位置,因此最终解会落在 的边界附近。
用 SLSQP 求解并检查残差
SLSQP 可以同时处理变量边界和一般非线性等式、不等式约束。SciPy 约定 type='ineq' 的约束函数需要满足大于等于 0,因此把性能要求写成 x * y - 4.0。
import numpy as np
from scipy.optimize import minimize
def objective(z):
x, y = z
return (x - 3.0) ** 2 + (y - 1.0) ** 2
def grad_objective(z):
x, y = z
return np.array([2.0 * (x - 3.0), 2.0 * (y - 1.0)])
def perf_constraint(z):
x, y = z
return x * y - 4.0
def grad_constraint(z):
x, y = z
return np.array([y, x])
bounds = [(0.5, 4.0), (0.5, 4.0)]
constraint = {
'type': 'ineq',
'fun': perf_constraint,
'jac': grad_constraint,
}
def solve(x0):
return minimize(
objective,
x0=np.array(x0, dtype=float),
jac=grad_objective,
method='SLSQP',
bounds=bounds,
constraints=[constraint],
options={'ftol': 1e-12, 'maxiter': 200},
)
starts = [(2.0, 2.0), (1.0, 1.0), (4.0, 1.0), (1.0, 4.0)]
results = [solve(start) for start in starts]
best = results[0]
z = best.x
# 对活动约束 g(z)>=0,KKT 驻点条件可写为 ∇f - λ∇g ≈ 0。
cg = grad_constraint(z)
lam = float(grad_objective(z) @ cg / (cg @ cg))
stationarity = np.linalg.norm(grad_objective(z) - lam * cg)
constraint_residual = perf_constraint(z)
complementarity = abs(lam * constraint_residual)
max_diff = max(np.linalg.norm(r.x - z, ord=np.inf) for r in results[1:])
print(f'success={best.success}')
print(f'x={z[0]:.6f}, y={z[1]:.6f}')
print(f'objective={best.fun:.6f}')
print(f'constraint_ok={constraint_residual >= -1e-8}')
print(f'lambda={lam:.6f}')
print(f'stationarity_ok={stationarity < 1e-6}')
print(f'complementarity_ok={complementarity < 1e-6}')
print(f'stable_across_starts={max_diff < 1e-6}')预期输出:
success=True
x=3.116703, y=1.283408
objective=0.093939
constraint_ok=True
lambda=0.181864
stationarity_ok=True
complementarity_ok=True
stable_across_starts=True结果满足 ,说明性能约束几乎恰好处于活动状态;两个参数也都位于 0.5 到 4.0 的边界内部,因此当前解没有触碰变量上下界。
用 KKT 相关量验证最优点
对于本例的活动不等式约束 ,在没有活动边界约束时,一阶 KKT 驻点条件可以写成目标梯度与约束梯度方向匹配,即 ,并要求 。
代码根据两个梯度估计得到 ,而 stationarity_ok=True 表明驻点残差已经小于设定阈值。与此同时,constraint_ok=True 验证可行性,complementarity_ok=True 验证 接近 0。这些检查比单独看到 success=True 更有说服力。
用不同初值检查稳定性
非线性优化器通常是局部方法,初值可能影响迭代路径,非凸问题甚至可能收敛到不同局部最优点。因此示例分别从 (2,2)、(1,1)、(4,1) 和 (1,4) 出发,其中 (1,1) 初始时甚至不满足性能约束。
四次求解最终收敛到同一组参数,最大坐标差低于 ,所以 stable_across_starts=True。这不能从数学上证明任意非线性问题都找到了全局最优,但对于本例,它给出了很有价值的数值稳定性证据。
实际参数设计应把“求解成功”拆成几项独立验收:目标值合理、所有约束残差在容差内、KKT 一阶条件足够小,并且有代表性的不同初值没有产生明显不同的解。只有这些检查同时通过,优化器返回的参数才值得进入后续工程验证。