高等数学 / 系统课时

拉格朗日乘子法

拉格朗日乘子法

拉格朗日乘子法把等式约束极值转化为一组联立方程。核心不是记住公式,而是理解:在光滑约束曲线上达到极值时,目标函数的梯度不能再沿可行方向继续下降,因此它必须与约束函数的梯度平行。

学习目标

  • 能解释约束极值处梯度平行的几何原因
  • 能建立拉格朗日函数并写出必要条件
  • 能求解并验证一个简单等式约束极值问题

为什么两个梯度会平行

设 f,gf,g 连续可微,约束为 g(x,y)=0g(x,y)=0。先考虑约束梯度 ∇g≠0\nabla g\ne0 的点。约束曲线的切向方向代表局部仍然可行的移动方向。在约束极值点,沿切线做微小移动不能让目标函数产生一阶下降,因此 ∇f\nabla f 必须垂直于切线。

另一方面,∇g\nabla g 也垂直于等值曲线 g(x,y)=0g(x,y)=0。两个向量都垂直于同一条切线,所以它们平行,即存在一个标量 λ\lambda 使:

∇f(x,y)+λ∇g(x,y)=0\nabla f(x,y)+\lambda\nabla g(x,y)=0

目标函数等高线与约束曲线相切

这里表示 ∇f\nabla f 是 ∇g\nabla g 的标量倍数,∇f=0\nabla f=0 时也可取 λ=0\lambda=0。若改用 ∇f=λ∇g\nabla f=\lambda\nabla g,只是乘子的符号约定不同,不会改变最终的候选点。

建立拉格朗日方程

定义拉格朗日函数:

L(x,y,λ)=f(x,y)+λg(x,y)L(x,y,\lambda)=f(x,y)+\lambda g(x,y)

对全部变量求偏导并令其为零:

∂L∂x=0,∂L∂y=0,∂L∂λ=g(x,y)=0\frac{\partial L}{\partial x}=0,\quad \frac{\partial L}{\partial y}=0,\quad \frac{\partial L}{\partial \lambda}=g(x,y)=0

前两个方程表达梯度平行,最后一个方程确保候选点仍在约束集合上。该条件通常要求约束在候选点附近足够光滑,并且 ∇g≠0\nabla g\ne 0;若约束梯度为零,常规乘子条件可能失效,需要单独分析。

主示例:直线上离原点最近的点

求目标函数 f(x,y)=x2+y2f(x,y)=x^2+y^2 在约束 x+y=1x+y=1 下的最小值。令:

g(x,y)=x+y−1g(x,y)=x+y-1

构造:

L=x2+y2+λ(x+y−1)L=x^2+y^2+\lambda(x+y-1)

必要条件为

2x+λ=0,2y+λ=0,x+y−1=0.\begin{aligned} 2x+\lambda&=0,\\ 2y+\lambda&=0,\\ x+y-1&=0. \end{aligned}

前两式相减得到 x=yx=y,再代入约束可得 x=y=12x=y=\frac{1}{2},并由 2x+λ=02x+\lambda=0 得 λ=−1\lambda=-1。目标函数最小值为:

f(12,12)=12f\left(\frac{1}{2},\frac{1}{2}\right)=\frac{1}{2}

下面在约束直线中 0≤x≤10\le x\le1 的一段上采样,核对候选点附近的目标值。

python
def objective(x, y):
    return x * x + y * y

def main():
    best = None

    # 用 y=1-x 保证每个采样点都满足等式约束
    for i in range(1001):
        x = i / 1000
        y = 1 - x
        value = objective(x, y)

        if best is None or value < best[0]:
            best = (value, x, y)

    value, x, y = best
    print(f"x={x:.3f}, y={y:.3f}, f={value:.6f}")

if __name__ == "__main__":
    main()

预期输出:

text
x=0.500, y=0.500, f=0.500000

采样命中了候选点。证明全局最小值要覆盖整条约束直线。在整条直线上有 f(x,1−x)=2(x−0.5)2+0.5f(x,1-x)=2(x-0.5)^2+0.5,因此该点是全局最小点;由于直线无界且目标值可无限增大,本题不存在最大值。

多个等式约束如何扩展

若有多个等式约束 gi(x)=0g_i(x)=0,可为每个约束引入一个乘子:

L(x,λ1,…,λm)=f(x)+∑i=1mλigi(x)L(x,\lambda_1,\ldots,\lambda_m) =f(x)+\sum_{i=1}^{m}\lambda_i g_i(x)

若各约束梯度在候选点线性无关,局部极值必满足乘子方程,即对原变量和全部乘子求偏导并令其为零。几何上,目标梯度位于各约束梯度张成的空间中。方程数量会随约束增加,因此求解后仍要检查候选点、约束条件和目标值。

正则性失效时需要回到原约束。例如最小化 f(x,y)=xf(x,y)=x,约束 x2+y2=0x^2+y^2=0。原点是唯一可行点,因而是全局最优点;在那里 ∇g=0\nabla g=0 而 ∇f=(1,0)\nabla f=(1,0),找不到满足驻点方程的乘子。

方法边界与常见错误

拉格朗日乘子法直接处理的是等式约束。对 g(x)≤0g(x)\le 0 这类不等式,只有活跃约束才可能像等式一样参与最优条件,完整处理通常需要 KKT 条件。

常见错误包括漏写原约束方程、求出候选点后不比较目标值,以及把 λ\lambda 当成最终目标。乘子主要表示约束对最优值的局部影响,而真正要报告的是满足约束的变量取值与对应极值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

拉格朗日乘子法

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通