AI 与工程数学 / 系统课时

用约束优化完成参数设计

用约束优化完成参数设计

这一节处理比线性资源分配更常见的参数设计问题:参数有上下界,性能指标之间还存在非线性约束。我们会用约束优化器求解,并通过约束残差、KKT 驻点条件和不同初值的重复求解判断结果是否可信。

学习目标

  • 把参数偏差、上下界和非线性性能指标组合成约束优化模型
  • 使用 SLSQP 求解非线性约束问题并检查约束残差
  • 用 KKT 相关量和多初值测试判断数值解的可信度与稳定性

建立带性能约束的参数模型

设待设计的两个参数为 xx 和 yy。理想设计点是 (3,1)(3,1),因此用 (x−3)2+(y−1)2(x-3)^2+(y-1)^2 衡量偏离理想值的代价,目标是将它最小化。

设计还必须满足性能指标 xy≥4xy\ge4,同时两个参数都限制在 0.5 到 4.0 之间。这里的乘积约束包含两个变量的乘法,因此已经不是线性规划,而是带边界的非线性约束优化问题。

非线性约束参数设计的可行域与最优点

无约束时最优点就是 (3,1)(3,1),但它的乘积只有 3,不满足性能要求。加入约束后,求解器必须在可行域中寻找距离理想点最近的位置,因此最终解会落在 xy=4xy=4 的边界附近。

用 SLSQP 求解并检查残差

SLSQP 可以同时处理变量边界和一般非线性等式、不等式约束。SciPy 约定 type='ineq' 的约束函数需要满足大于等于 0,因此把性能要求写成 x * y - 4.0。

python
import numpy as np
from scipy.optimize import minimize

def objective(z):
    x, y = z
    return (x - 3.0) ** 2 + (y - 1.0) ** 2

def grad_objective(z):
    x, y = z
    return np.array([2.0 * (x - 3.0), 2.0 * (y - 1.0)])

def perf_constraint(z):
    x, y = z
    return x * y - 4.0

def grad_constraint(z):
    x, y = z
    return np.array([y, x])

bounds = [(0.5, 4.0), (0.5, 4.0)]
constraint = {
    'type': 'ineq',
    'fun': perf_constraint,
    'jac': grad_constraint,
}

def solve(x0):
    return minimize(
        objective,
        x0=np.array(x0, dtype=float),
        jac=grad_objective,
        method='SLSQP',
        bounds=bounds,
        constraints=[constraint],
        options={'ftol': 1e-12, 'maxiter': 200},
    )

starts = [(2.0, 2.0), (1.0, 1.0), (4.0, 1.0), (1.0, 4.0)]
results = [solve(start) for start in starts]
best = results[0]
z = best.x

# 对活动约束 g(z)>=0,KKT 驻点条件可写为 ∇f - λ∇g ≈ 0。
cg = grad_constraint(z)
lam = float(grad_objective(z) @ cg / (cg @ cg))
stationarity = np.linalg.norm(grad_objective(z) - lam * cg)
constraint_residual = perf_constraint(z)
complementarity = abs(lam * constraint_residual)
max_diff = max(np.linalg.norm(r.x - z, ord=np.inf) for r in results[1:])

print(f'success={best.success}')
print(f'x={z[0]:.6f}, y={z[1]:.6f}')
print(f'objective={best.fun:.6f}')
print(f'constraint_ok={constraint_residual >= -1e-8}')
print(f'lambda={lam:.6f}')
print(f'stationarity_ok={stationarity < 1e-6}')
print(f'complementarity_ok={complementarity < 1e-6}')
print(f'stable_across_starts={max_diff < 1e-6}')

预期输出:

text
success=True
x=3.116703, y=1.283408
objective=0.093939
constraint_ok=True
lambda=0.181864
stationarity_ok=True
complementarity_ok=True
stable_across_starts=True

结果满足 xy≈4xy\approx4,说明性能约束几乎恰好处于活动状态;两个参数也都位于 0.5 到 4.0 的边界内部,因此当前解没有触碰变量上下界。

用 KKT 相关量验证最优点

对于本例的活动不等式约束 g(x,y)=xy−4≥0g(x,y)=xy-4\ge0,在没有活动边界约束时,一阶 KKT 驻点条件可以写成目标梯度与约束梯度方向匹配,即 ∇f−λ∇g≈0\nabla f-\lambda\nabla g\approx0,并要求 λ≥0\lambda\ge0。

代码根据两个梯度估计得到 λ≈0.181864\lambda\approx0.181864,而 stationarity_ok=True 表明驻点残差已经小于设定阈值。与此同时,constraint_ok=True 验证可行性,complementarity_ok=True 验证 λg(x,y)\lambda g(x,y) 接近 0。这些检查比单独看到 success=True 更有说服力。

用不同初值检查稳定性

非线性优化器通常是局部方法,初值可能影响迭代路径,非凸问题甚至可能收敛到不同局部最优点。因此示例分别从 (2,2)、(1,1)、(4,1) 和 (1,4) 出发,其中 (1,1) 初始时甚至不满足性能约束。

四次求解最终收敛到同一组参数,最大坐标差低于 10−610^{-6},所以 stable_across_starts=True。这不能从数学上证明任意非线性问题都找到了全局最优,但对于本例,它给出了很有价值的数值稳定性证据。

实际参数设计应把“求解成功”拆成几项独立验收:目标值合理、所有约束残差在容差内、KKT 一阶条件足够小,并且有代表性的不同初值没有产生明显不同的解。只有这些检查同时通过,优化器返回的参数才值得进入后续工程验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用约束优化完成参数设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通