AI 与工程数学 / 系统课时
用几何关系解释约束最优点
用几何关系解释约束最优点
这节课用二维几何把“带约束最优”看清楚:目标函数的等高线不断向更优方向移动,直到第一次贴住可行集合。这个接触点为什么常表现为相切、为什么沿可行方向已无法继续下降,都可以从梯度与切向方向的关系直接解释。
学习目标
- 能用等高线与约束曲线的接触关系解释约束极值。
- 能从梯度方向与可行方向判断某个点是否还能继续下降。
- 能用一个简单数值例子验证相切条件。
从等高线看约束极值
设目标函数为 ,约束为 。如果没有约束,只需沿 方向寻找更小的函数值;加入约束后,移动必须始终留在曲线 上。
目标函数的等高线满足 。当我们逐渐降低 时,等高线向更优区域移动。若某条等高线刚好与约束曲线接触,再继续降低就不再与可行集合相交,那么这个接触点就是约束极小值的候选点。

图中最重要的不是“看起来相切”,而是相切背后的方向约束:在最优点附近,允许移动的方向只有沿约束曲线的切向方向,而目标函数梯度恰好没有沿这个方向的下降分量。
相切条件为什么会出现
对光滑等式约束 ,约束曲线在一点的法向量是 。目标函数等高线的法向量是 。两条曲线相切时,它们的法向量平行,因此存在某个标量 ,使得
这就是拉格朗日乘子条件的几何来源。它并不是额外“发明”出来的公式,而是在最优点处两个法向方向重合的代数表达。
换一个角度看,若 是约束曲线上的可行切向方向,则 。当 与 平行时,同样有 ,说明一阶近似下沿任何可行切向方向都不能继续降低目标函数。
用一个二维问题验证
考虑问题
满足约束
目标函数等高线是以 为中心的圆。几何上,离这个中心最近的约束线上的点就是最优点,也就是 。
下面用 Python 验证梯度、约束法向和可行方向之间的关系。
import numpy as np
x_star = np.array([1.5, 0.5])
# f=(x-2)^2+(y-1)^2 的梯度
grad_f = 2 * (x_star - np.array([2.0, 1.0]))
# g=x+y-2 的梯度,即约束曲线法向
grad_g = np.array([1.0, 1.0])
# 直线 x+y=2 的一个可行切向方向
d = np.array([1.0, -1.0])
print("grad_f =", grad_f)
print("grad_g =", grad_g)
print("grad_f·d =", float(grad_f @ d))
print("grad_g·d =", float(grad_g @ d))预期输出
grad_f = [-1. -1.]
grad_g = [1. 1.]
grad_f·d = 0.0
grad_g·d = 0.0输出说明 与 方向相反,因此满足 ,这里可取 。同时两者都与可行方向 正交,所以沿约束线做一阶小扰动不会继续降低目标值。
如何判断还能不能下降
判断一个候选点时,不必先背公式,可以先问一个几何问题:是否存在一个保持可行的微小方向,使目标函数继续下降?
若存在可行方向 ,满足约束的一阶条件,同时有 ,那么这个点一定还不是局部极小值;只有当所有允许的一阶方向都无法降低目标函数时,它才可能成为最优点。
对等式约束的光滑内部点,这个判断最终会收敛到“目标梯度落在约束法向空间里”。在二维单约束情形中,这正是等高线与约束曲线相切的几何图像。