AI 与工程数学 / 系统课时

用拉格朗日乘子处理等式约束

用拉格朗日乘子处理等式约束

等式约束会限制变量只能在一条曲线或一个曲面上移动,直接令目标梯度为零通常不再正确。拉格朗日乘子法把“目标函数想下降的方向”和“约束允许移动的方向”联系起来,使约束最优点能够通过一组方程统一求解,同时还能解释约束变化对最优值的影响。

学习目标

  • 能为带等式约束的问题正确构造拉格朗日函数
  • 能从一阶条件求出候选最优点与拉格朗日乘子
  • 能解释乘子的符号与约束右端变化对最优值的敏感度关系

为什么不能只令目标梯度为零

考虑问题

min⁡x,y  x2+y2s.t.x+y=10\min_{x,y}\; x^2+y^2 \quad \text{s.t.}\quad x+y=10

如果没有约束,目标函数在 (0,0)(0,0) 取得最小值,但这个点不满足 x+y=10x+y=10。真正的最优点只能沿直线 x+y=10x+y=10 搜索,因此不能再要求 ∇f=0\nabla f=0。

在约束曲线上达到最优点时,目标函数的等高线通常与约束曲线相切。此时目标梯度与约束梯度平行,即存在一个标量 λ\lambda,使

∇f(x,y)+λ∇h(x,y)=0\nabla f(x,y)+\lambda\nabla h(x,y)=0

其中 h(x,y)=x+y−10h(x,y)=x+y-10。这个标量就是拉格朗日乘子。

等式约束下目标梯度与约束梯度的关系

构造拉格朗日函数并求解

把约束写成 h(x,y)=x+y−10=0h(x,y)=x+y-10=0,构造

L(x,y,λ)=x2+y2+λ(x+y−10)L(x,y,\lambda)=x^2+y^2+\lambda(x+y-10)

一阶必要条件是分别对 xx、yy 和 λ\lambda 求偏导并令其为零:

2x+λ=02x+\lambda=0
2y+λ=02y+\lambda=0
x+y−10=0x+y-10=0

前两个方程给出 x=yx=y,再代入约束得到 x=y=5x=y=5,于是 λ=−10\lambda=-10。目标函数值为 52+52=505^2+5^2=50。

这个例子还可以直接用一个小程序验证一阶条件和约束是否同时成立。

python
def main() -> None:
    x = 5.0
    y = 5.0
    lam = -10.0

    # 检查拉格朗日一阶条件与原始等式约束。
    stationarity_x = 2 * x + lam
    stationarity_y = 2 * y + lam
    constraint = x + y - 10
    objective = x * x + y * y

    print(f"x={x}, y={y}, lambda={lam}")
    print(f"stationarity=({stationarity_x}, {stationarity_y})")
    print(f"constraint={constraint}")
    print(f"objective={objective}")


if __name__ == "__main__":
    main()

预期输出:

text
x=5.0, y=5.0, lambda=-10.0
stationarity=(0.0, 0.0)
constraint=0.0
objective=50.0

这里的一阶条件给出了候选点。由于目标函数 x2+y2x^2+y^2 是严格凸函数,而约束是仿射等式,这个候选点同时也是唯一的全局最优点。

乘子为什么能表示敏感度

把约束右端从 10 改成一般参数 bb:

x+y=bx+y=b

对应最优解为 x=y=b/2x=y=b/2,最优目标值因此是

v(b)=b22v(b)=\frac{b^2}{2}

所以 v′(b)=bv'(b)=b。在 b=10b=10 时,最优值对约束右端的局部变化率为 10,也就是说把右端从 10 略微提高,最优目标值大约以每增加 1 个单位、成本增加 10 的速度变化。

本节采用的拉格朗日函数是 L=f+λ(x+y−b)L=f+\lambda(x+y-b)。因为参数 bb 在约束项中的系数为 −λ-\lambda,所以敏感度满足 v′(b)=−λv'(b)=-\lambda。这里 λ=−10\lambda=-10,于是 −λ=10-\lambda=10,与直接求导完全一致。

多个等式约束时怎么扩展

如果有多个约束 h1(x)=0,…,hm(x)=0h_1(x)=0,\ldots,h_m(x)=0,就为每个约束引入一个乘子,形成

L(x,λ)=f(x)+∑i=1mλihi(x)L(x,\lambda)=f(x)+\sum_{i=1}^{m}\lambda_i h_i(x)

然后同时求解对变量的驻点条件和全部约束方程。几何上,这意味着目标梯度位于所有约束梯度张成的空间中,而不再只是与某一个约束梯度平行。

拉格朗日乘子法的核心不是“多加一个变量”,而是把约束几何条件转成代数方程。求得候选点后,还应结合凸性、二阶条件或问题结构判断它究竟是最小值、最大值还是其他驻点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用拉格朗日乘子处理等式约束

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通