AI 与工程数学 / 系统课时

用投影梯度满足参数边界

用投影梯度满足参数边界

普通梯度下降可能把参数更新到允许区间之外。对于带上下界的变量,可以先执行一次无约束梯度更新,再把结果投影回可行域。本篇用二维二次目标实现裁剪式投影,并逐步验证每次迭代都满足参数边界。

学习目标

  • 写出箱式约束下的投影梯度更新公式,并理解“先更新、后投影”的顺序。
  • 用 NumPy 实现逐元素裁剪,使每一步参数都满足给定上下界。
  • 通过数值结果判断约束何时真正改变最优解。

从无约束更新到可行域投影

设参数为 θ=(x,y)\theta=(x,y),目标函数为

f(x,y)=(x−3)2+(y+2)2f(x,y)=(x-3)^2+(y+2)^2

无约束最优点是 (3,−2)(3,-2)。现在施加边界 0≤x≤20\le x\le2、−1≤y≤1-1\le y\le1,原来的最优点已经不可行,因此约束最优解会落在边界 (2,−1)(2,-1)。

投影梯度法先按学习率 η\eta 做普通更新,再把结果映射回约束集合 CC:

θk+1=ΠC(θk−η∇f(θk))\theta_{k+1}=\Pi_C\left(\theta_k-\eta\nabla f(\theta_k)\right)

对于这种逐维上下界约束,投影不需要求解额外优化问题,只需逐元素裁剪:

ΠC(z)i=min⁡(ui,max⁡(li,zi))\Pi_C(z)_i=\min\left(u_i,\max\left(l_i,z_i\right)\right)

例如某次无约束更新得到 (2.4,−1.3)(2.4,-1.3),投影到 x∈[0,2]x\in[0,2]、y∈[−1,1]y\in[-1,1] 后就是 (2,−1)(2,-1)。

箱式约束中的梯度更新与投影关系

用 NumPy 实现裁剪式投影

下面从初始点 (0,1)(0,1) 出发,学习率取 η=0.2\eta=0.2。梯度为 ∇f=(2(x−3),2(y+2))\nabla f=(2(x-3),2(y+2)),每次更新后使用 np.clip 分别限制两个维度。

python
import numpy as np


def objective(theta):
    x, y = theta
    return (x - 3.0) ** 2 + (y + 2.0) ** 2


def gradient(theta):
    x, y = theta
    return np.array([2.0 * (x - 3.0), 2.0 * (y + 2.0)])


lower = np.array([0.0, -1.0])
upper = np.array([2.0, 1.0])
theta = np.array([0.0, 1.0])
learning_rate = 0.2

for step in range(1, 7):
    candidate = theta - learning_rate * gradient(theta)
    theta = np.clip(candidate, lower, upper)
    feasible = np.all((theta >= lower) & (theta <= upper))
    print(
        f"step={step}, theta={theta.tolist()}, "
        f"loss={objective(theta):.4f}, feasible={feasible}"
    )

预期输出:

text
step=1, theta=[1.2000000000000002, -0.20000000000000018], loss=6.4800, feasible=True
step=2, theta=[1.9200000000000002, -1.0], loss=2.1664, feasible=True
step=3, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=4, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=5, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=6, theta=[2.0, -1.0], loss=2.0000, feasible=True

第 2 步时,未经投影的 yy 已低于下界 −1-1;第 3 步时,xx 也会尝试超过上界 22。np.clip 把两者拉回最近的合法边界,因此所有打印结果中的 feasible 都应为 True。

检查投影是否真的改变了更新

调试时不要只看最终参数,应同时保留投影前的 candidate。例如从 (1.92,−1)(1.92,-1) 更新时,梯度为 (−2.16,2)(-2.16,2),学习率为 0.20.2,因此无约束候选值为

(1.92,−1)−0.2(−2.16,2)=(2.352,−1.4)(1.92,-1)-0.2(-2.16,2)=(2.352,-1.4)

这个点同时越过 xx 的上界和 yy 的下界,投影后得到 (2,−1)(2,-1)。若程序直接得到 (2.352,−1.4)(2.352,-1.4),说明只实现了梯度下降,没有执行约束投影。

可以把验证条件写成测试断言,任何一步越界立即失败:

python
candidate = np.array([2.352, -1.4])
projected = np.clip(candidate, [0.0, -1.0], [2.0, 1.0])

assert np.all(projected >= np.array([0.0, -1.0]))
assert np.all(projected <= np.array([2.0, 1.0]))
print(projected)

预期输出:

text
[ 2. -1.]

区分裁剪和修改梯度

常见错误是在计算梯度前把参数裁剪一次,然后直接接受之后的无约束更新。这样只能保证“本步开始时”参数合法,不能保证“本步结束后”仍在可行域中。正确顺序是:计算当前位置梯度、生成候选参数、投影候选参数、再把投影结果作为下一步状态。

对于箱式约束,只要每轮更新后检查 lower <= theta <= upper,就能确认可行性;而参数最终停在边界并不意味着算法失败。当无约束最优点位于可行域之外时,边界点本来就可能是约束问题的正确最优解。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用投影梯度满足参数边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通