AI 与工程数学 / 系统课时

用几何关系解释约束最优点

用几何关系解释约束最优点

这节课用二维几何把“带约束最优”看清楚:目标函数的等高线不断向更优方向移动,直到第一次贴住可行集合。这个接触点为什么常表现为相切、为什么沿可行方向已无法继续下降,都可以从梯度与切向方向的关系直接解释。

学习目标

  • 能用等高线与约束曲线的接触关系解释约束极值。
  • 能从梯度方向与可行方向判断某个点是否还能继续下降。
  • 能用一个简单数值例子验证相切条件。

从等高线看约束极值

设目标函数为 f(x,y)f(x,y),约束为 g(x,y)=0g(x,y)=0。如果没有约束,只需沿 −∇f-\nabla f 方向寻找更小的函数值;加入约束后,移动必须始终留在曲线 g(x,y)=0g(x,y)=0 上。

目标函数的等高线满足 f(x,y)=cf(x,y)=c。当我们逐渐降低 cc 时,等高线向更优区域移动。若某条等高线刚好与约束曲线接触,再继续降低就不再与可行集合相交,那么这个接触点就是约束极小值的候选点。

目标函数等高线与约束曲线在最优点相切

图中最重要的不是“看起来相切”,而是相切背后的方向约束:在最优点附近,允许移动的方向只有沿约束曲线的切向方向,而目标函数梯度恰好没有沿这个方向的下降分量。

相切条件为什么会出现

对光滑等式约束 g(x,y)=0g(x,y)=0,约束曲线在一点的法向量是 ∇g\nabla g。目标函数等高线的法向量是 ∇f\nabla f。两条曲线相切时,它们的法向量平行,因此存在某个标量 λ\lambda,使得

∇f(x∗,y∗)+λ∇g(x∗,y∗)=0\nabla f(x^*,y^*)+\lambda\nabla g(x^*,y^*)=0

这就是拉格朗日乘子条件的几何来源。它并不是额外“发明”出来的公式,而是在最优点处两个法向方向重合的代数表达。

换一个角度看,若 dd 是约束曲线上的可行切向方向,则 ∇gTd=0\nabla g^T d=0。当 ∇f\nabla f 与 ∇g\nabla g 平行时,同样有 ∇fTd=0\nabla f^T d=0,说明一阶近似下沿任何可行切向方向都不能继续降低目标函数。

用一个二维问题验证

考虑问题

min⁡x,y (x−2)2+(y−1)2\min_{x,y}\ (x-2)^2+(y-1)^2

满足约束

x+y=2x+y=2

目标函数等高线是以 (2,1)(2,1) 为中心的圆。几何上,离这个中心最近的约束线上的点就是最优点,也就是 (1.5,0.5)(1.5,0.5)。

下面用 Python 验证梯度、约束法向和可行方向之间的关系。

python
import numpy as np

x_star = np.array([1.5, 0.5])

# f=(x-2)^2+(y-1)^2 的梯度
grad_f = 2 * (x_star - np.array([2.0, 1.0]))

# g=x+y-2 的梯度,即约束曲线法向
grad_g = np.array([1.0, 1.0])

# 直线 x+y=2 的一个可行切向方向
d = np.array([1.0, -1.0])

print("grad_f =", grad_f)
print("grad_g =", grad_g)
print("grad_f·d =", float(grad_f @ d))
print("grad_g·d =", float(grad_g @ d))

预期输出

text
grad_f = [-1. -1.]
grad_g = [1. 1.]
grad_f·d = 0.0
grad_g·d = 0.0

输出说明 ∇f=(−1,−1)\nabla f=(-1,-1) 与 ∇g=(1,1)\nabla g=(1,1) 方向相反,因此满足 ∇f+λ∇g=0\nabla f+\lambda\nabla g=0,这里可取 λ=1\lambda=1。同时两者都与可行方向 d=(1,−1)d=(1,-1) 正交,所以沿约束线做一阶小扰动不会继续降低目标值。

如何判断还能不能下降

判断一个候选点时,不必先背公式,可以先问一个几何问题:是否存在一个保持可行的微小方向,使目标函数继续下降?

若存在可行方向 dd,满足约束的一阶条件,同时有 ∇fTd<0\nabla f^T d<0,那么这个点一定还不是局部极小值;只有当所有允许的一阶方向都无法降低目标函数时,它才可能成为最优点。

对等式约束的光滑内部点,这个判断最终会收敛到“目标梯度落在约束法向空间里”。在二维单约束情形中,这正是等高线与约束曲线相切的几何图像。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用几何关系解释约束最优点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通