AI 与工程数学 / 系统课时
用投影梯度满足参数边界
用投影梯度满足参数边界
普通梯度下降可能把参数更新到允许区间之外。对于带上下界的变量,可以先执行一次无约束梯度更新,再把结果投影回可行域。本篇用二维二次目标实现裁剪式投影,并逐步验证每次迭代都满足参数边界。
学习目标
- 写出箱式约束下的投影梯度更新公式,并理解“先更新、后投影”的顺序。
- 用 NumPy 实现逐元素裁剪,使每一步参数都满足给定上下界。
- 通过数值结果判断约束何时真正改变最优解。
从无约束更新到可行域投影
设参数为 ,目标函数为
无约束最优点是 。现在施加边界 、,原来的最优点已经不可行,因此约束最优解会落在边界 。
投影梯度法先按学习率 做普通更新,再把结果映射回约束集合 :
对于这种逐维上下界约束,投影不需要求解额外优化问题,只需逐元素裁剪:
例如某次无约束更新得到 ,投影到 、 后就是 。

用 NumPy 实现裁剪式投影
下面从初始点 出发,学习率取 。梯度为 ,每次更新后使用 np.clip 分别限制两个维度。
import numpy as np
def objective(theta):
x, y = theta
return (x - 3.0) ** 2 + (y + 2.0) ** 2
def gradient(theta):
x, y = theta
return np.array([2.0 * (x - 3.0), 2.0 * (y + 2.0)])
lower = np.array([0.0, -1.0])
upper = np.array([2.0, 1.0])
theta = np.array([0.0, 1.0])
learning_rate = 0.2
for step in range(1, 7):
candidate = theta - learning_rate * gradient(theta)
theta = np.clip(candidate, lower, upper)
feasible = np.all((theta >= lower) & (theta <= upper))
print(
f"step={step}, theta={theta.tolist()}, "
f"loss={objective(theta):.4f}, feasible={feasible}"
)预期输出:
step=1, theta=[1.2000000000000002, -0.20000000000000018], loss=6.4800, feasible=True
step=2, theta=[1.9200000000000002, -1.0], loss=2.1664, feasible=True
step=3, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=4, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=5, theta=[2.0, -1.0], loss=2.0000, feasible=True
step=6, theta=[2.0, -1.0], loss=2.0000, feasible=True第 2 步时,未经投影的 已低于下界 ;第 3 步时, 也会尝试超过上界 。np.clip 把两者拉回最近的合法边界,因此所有打印结果中的 feasible 都应为 True。
检查投影是否真的改变了更新
调试时不要只看最终参数,应同时保留投影前的 candidate。例如从 更新时,梯度为 ,学习率为 ,因此无约束候选值为
这个点同时越过 的上界和 的下界,投影后得到 。若程序直接得到 ,说明只实现了梯度下降,没有执行约束投影。
可以把验证条件写成测试断言,任何一步越界立即失败:
candidate = np.array([2.352, -1.4])
projected = np.clip(candidate, [0.0, -1.0], [2.0, 1.0])
assert np.all(projected >= np.array([0.0, -1.0]))
assert np.all(projected <= np.array([2.0, 1.0]))
print(projected)预期输出:
[ 2. -1.]区分裁剪和修改梯度
常见错误是在计算梯度前把参数裁剪一次,然后直接接受之后的无约束更新。这样只能保证“本步开始时”参数合法,不能保证“本步结束后”仍在可行域中。正确顺序是:计算当前位置梯度、生成候选参数、投影候选参数、再把投影结果作为下一步状态。
对于箱式约束,只要每轮更新后检查 lower <= theta <= upper,就能确认可行性;而参数最终停在边界并不意味着算法失败。当无约束最优点位于可行域之外时,边界点本来就可能是约束问题的正确最优解。