高等数学 / 系统课时

拉格朗日函数

拉格朗日函数

拉格朗日函数把“优化目标”和“必须满足的等式约束”合并到一个表达式中,使约束问题转化为驻点方程。本课将从几何直觉、乘子含义和可运行验证三个角度,掌握最基本的求解方法。

学习目标

  • 写出等式约束问题对应的拉格朗日函数
  • 利用一阶条件求出候选最优点与乘子
  • 理解乘子与约束边际敏感性的关系

从约束问题到统一表达式

考虑等式约束优化:

min⁡x,yf(x,y),s.t. g(x,y)=0\min_{x,y} f(x,y), \qquad \text{s.t. } g(x,y)=0

约束 g(x,y)=0g(x,y)=0 把可选点限制在一条曲线或曲面上。拉格朗日方法引入乘子 λ\lambda,构造:

L(x,y,λ)=f(x,y)+λg(x,y)\mathcal{L}(x,y,\lambda)=f(x,y)+\lambda g(x,y)

这里的 λ\lambda 是辅助变量,取任意实数,使驻点方程能同时表达可行性和一阶最优条件。采用 f−λgf-\lambda g 也可以,但后续方程和乘子符号必须保持一致。

为什么要求梯度平行

在约束曲线上移动时,可行方向与 ∇g\nabla g 垂直。若最优点处 ∇f\nabla f 仍有沿可行方向下降的分量,就还能继续降低目标,因此不可能最优。于是正则条件下应满足:

∇f(x,y)+λ∇g(x,y)=0\nabla f(x,y)+\lambda \nabla g(x,y)=0

若两个梯度均非零,对应的两条光滑等值曲线在候选点相切。若目标梯度为零,驻点方程仍可成立,但这时不能通过它确定目标等值线的切向。

目标等高线与约束曲线相切示意图

主示例:最小化平方和

求 f(x,y)=x2+y2f(x,y)=x^2+y^2 在约束 x+y=1x+y=1 下的最小值。构造:

L=x2+y2+λ(x+y−1)\mathcal{L}=x^2+y^2+\lambda(x+y-1)

一阶条件为:

2x+λ=0,2y+λ=0,x+y−1=02x+\lambda=0,\qquad 2y+\lambda=0,\qquad x+y-1=0

前两式给出 x=yx=y,代入约束得到 x=y=12x=y=\frac{1}{2},再得 λ=−1\lambda=-1。目标函数最小值为 12\frac{1}{2}。下面用纯 Python 验证驻点方程和约束残差:

python
def lagrange_residual(x: float, y: float, multiplier: float) -> tuple[float, float, float]:
    # 返回拉格朗日函数对 x、y 的偏导,以及约束残差
    grad_x = 2 * x + multiplier
    grad_y = 2 * y + multiplier
    constraint = x + y - 1
    return grad_x, grad_y, constraint

x, y, multiplier = 0.5, 0.5, -1.0
grad_x, grad_y, constraint = lagrange_residual(x, y, multiplier)

print(f"grad_L = ({grad_x:.1f}, {grad_y:.1f})")
print(f"constraint = {constraint:.1f}")


def optimal_value(rhs):
    return rhs**2 / 2


step = 1e-4
sensitivity = (optimal_value(1 + step) - optimal_value(1 - step)) / (2 * step)
print(f"sensitivity = {sensitivity:.6f}")
assert abs(sensitivity + multiplier) < 1e-9

预期输出:

text
grad_L = (0.0, 0.0)
constraint = 0.0
sensitivity = 1.000000

前两行验证驻点与可行性。本例沿直线代入得到 f(x,1−x)=2(x−1/2)2+1/2f(x,1-x)=2(x-1/2)^2+1/2,由此验证全局最优。一般问题中的驻点仍需结合目标和约束判断。第三行用于检查下面的敏感性结论。

乘子的敏感性含义

把约束改写为 g(x,y)=cg(x,y)=c,记最优值为 V(c)V(c)。若最优分支对 cc 光滑,且仍采用 L=f+λ(g−c)\mathcal L=f+\lambda(g-c),则沿最优分支有 ∇f=−λ∗∇g\nabla f=-\lambda^*\nabla g,并且 dg/dc=1dg/dc=1。因此

dVdc=−λ∗.\frac{dV}{dc}=-\lambda^*.

本例将右端写成 x+y=cx+y=c,有 x=y=c/2x=y=c/2、V(c)=c2/2V(c)=c^2/2、λ∗=−c\lambda^*=-c。在 c=1c=1,最优值导数为 +1+1,代码中心差分给出同一结果。若改用 f−λ(g−c)f-\lambda(g-c),乘子换号,公式也相应变为 V′(c)=λ∗V'(c)=\lambda^*。

若约束不正则或最优值在该处不可微,不能直接把一个乘子当成普通导数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

拉格朗日函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通