高等数学 / 系统课时

约束与惩罚的转换

约束与惩罚的转换

约束优化要求解必须留在可行域内,惩罚法则把“违反约束”变成额外损失。本课将说明两种形式如何转换、惩罚系数怎样改变最优解,以及这一思想为何会延伸为机器学习中的正则化。

学习目标

  • 能把等式约束和不等式约束改写为惩罚项
  • 理解惩罚系数对可行性与优化难度的影响
  • 区分硬约束、软惩罚与正则化

从硬约束到软惩罚

一般约束问题可写为:

min⁡xf(x),s.t. gi(x)≤0, hj(x)=0\min_x f(x),\quad \text{s.t. } g_i(x)\le 0,\ h_j(x)=0

硬约束直接排除不可行点。惩罚法保留整个搜索空间,但给越界点增加代价:

min⁡xFλ(x)=f(x)+λP(x)\min_x F_\lambda(x)=f(x)+\lambda P(x)

其中 P(x)≥0P(x)\ge 0 衡量违反程度,λ>0\lambda>0 控制惩罚强度。在下文的构造中,可行点满足 P(x)=0P(x)=0,惩罚项随违反量增大。

硬约束转为惩罚目标的关系图

怎样构造惩罚项

等式约束 h(x)=0h(x)=0 常用平方惩罚:

Peq(x)=h(x)2P_{eq}(x)=h(x)^2

不等式约束 g(x)≤0g(x)\le 0 只惩罚正向越界部分:

Pineq(x)=max⁡(0,g(x))2P_{ineq}(x)=\max(0,g(x))^2

多个约束可以把各项相加。平方惩罚连续且容易求导,但有限的 λ\lambda 通常只能让违反量变小,不能保证结果完全可行。若规则绝不能被突破,应优先使用显式约束、投影方法或可行参数化。

惩罚系数如何改变解

考虑:

min⁡x(x−3)2,s.t. x≤1\min_x (x-3)^2,\quad \text{s.t. } x\le 1

原问题最优解为 x=1x=1。加入平方惩罚后:

Fλ(x)=(x−3)2+λmax⁡(0,x−1)2F_\lambda(x)=(x-3)^2+\lambda\max(0,x-1)^2

在 x≤1x\le1 上,原目标在 11 处最小。在 x>1x>1 上求驻点得到下面的解;它确实大于 11,且平方惩罚后的目标是凸函数,所以这是全局最小点。

xλ=3+λ1+λ=1+21+λx_\lambda=\frac{3+\lambda}{1+\lambda}=1+\frac{2}{1+\lambda}

λ\lambda 越大,解越接近边界,但任意有限的 λ\lambda 下仍略有越界。惩罚太小会忽视约束;惩罚太大则会使目标曲面更陡,造成梯度尺度失衡、步长难选和收敛变慢。

惩罚系数 典型表现 主要风险
较小 更重视原目标 违反约束明显
适中 在性能与可行性间折中 需要调参
很大 更接近可行域 数值条件变差

换一种惩罚可得到不同结果。若改用 λmax⁡(0,x−1)\lambda\max(0,x-1),在 x>1x>1 时导数是 2(x−3)+λ2(x-3)+\lambda。因此当 0≤λ<40\le\lambda<4 时最优点是 x=3−λ/2x=3-\lambda/2;当 λ≥4\lambda\ge4 时最优点恰好是 11。这里线性铰链在有限系数下即可恢复硬约束解,而平方铰链仍有残余越界。该阈值来自这个具体问题。

与正则化的联系

正则化可以视为软约束。参数复杂度受限的问题:

min⁡wL(w),s.t. Ω(w)≤c\min_w L(w),\quad \text{s.t. } \Omega(w)\le c

若凸约束问题存在最优 KKT 乘子 λ∗≥0\lambda^*\ge0,约束最优解同时最小化下面的正则化目标,取 λ=λ∗\lambda=\lambda^*。拉格朗日项中的常数 −λc-\lambda c 不影响最优点。

min⁡wL(w)+λΩ(w)\min_w L(w)+\lambda\Omega(w)

反过来,若 wλw_\lambda 已最小化正则化目标,则取 c=Ω(wλ)c=\Omega(w_\lambda) 时,它也最小化这个预算内的原损失。否则,某个预算内损失更低的点也会降低正则化目标,产生矛盾。Ω(w)\Omega(w) 可表示参数规模、模型复杂度或结构偏好。L2L_2 正则鼓励参数整体较小,L1L_1 正则更容易得到稀疏解。约束上限 cc 与权重 λ\lambda 通常没有可直接套用的一一公式,需要结合验证集表现和约束满足程度选择。

实际选择方法

先判断约束是否允许轻微违反。不能违反时使用硬约束;允许折中时,再设计尺度合理、最好可微的惩罚项。

训练时可从较小的 λ\lambda 开始,同时记录任务损失与约束违反量。违反量下降不足时逐步增大 λ\lambda;若出现震荡或梯度过大,应归一化各项、减小学习率,或分阶段提高惩罚系数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

约束与惩罚的转换

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通