高等数学 / 系统课时
约束与惩罚的转换
约束与惩罚的转换
约束优化要求解必须留在可行域内,惩罚法则把“违反约束”变成额外损失。本课将说明两种形式如何转换、惩罚系数怎样改变最优解,以及这一思想为何会延伸为机器学习中的正则化。
学习目标
- 能把等式约束和不等式约束改写为惩罚项
- 理解惩罚系数对可行性与优化难度的影响
- 区分硬约束、软惩罚与正则化
从硬约束到软惩罚
一般约束问题可写为:
硬约束直接排除不可行点。惩罚法保留整个搜索空间,但给越界点增加代价:
其中 衡量违反程度, 控制惩罚强度。在下文的构造中,可行点满足 ,惩罚项随违反量增大。

怎样构造惩罚项
等式约束 常用平方惩罚:
不等式约束 只惩罚正向越界部分:
多个约束可以把各项相加。平方惩罚连续且容易求导,但有限的 通常只能让违反量变小,不能保证结果完全可行。若规则绝不能被突破,应优先使用显式约束、投影方法或可行参数化。
惩罚系数如何改变解
考虑:
原问题最优解为 。加入平方惩罚后:
在 上,原目标在 处最小。在 上求驻点得到下面的解;它确实大于 ,且平方惩罚后的目标是凸函数,所以这是全局最小点。
越大,解越接近边界,但任意有限的 下仍略有越界。惩罚太小会忽视约束;惩罚太大则会使目标曲面更陡,造成梯度尺度失衡、步长难选和收敛变慢。
| 惩罚系数 | 典型表现 | 主要风险 |
|---|---|---|
| 较小 | 更重视原目标 | 违反约束明显 |
| 适中 | 在性能与可行性间折中 | 需要调参 |
| 很大 | 更接近可行域 | 数值条件变差 |
换一种惩罚可得到不同结果。若改用 ,在 时导数是 。因此当 时最优点是 ;当 时最优点恰好是 。这里线性铰链在有限系数下即可恢复硬约束解,而平方铰链仍有残余越界。该阈值来自这个具体问题。
与正则化的联系
正则化可以视为软约束。参数复杂度受限的问题:
若凸约束问题存在最优 KKT 乘子 ,约束最优解同时最小化下面的正则化目标,取 。拉格朗日项中的常数 不影响最优点。
反过来,若 已最小化正则化目标,则取 时,它也最小化这个预算内的原损失。否则,某个预算内损失更低的点也会降低正则化目标,产生矛盾。 可表示参数规模、模型复杂度或结构偏好。 正则鼓励参数整体较小, 正则更容易得到稀疏解。约束上限 与权重 通常没有可直接套用的一一公式,需要结合验证集表现和约束满足程度选择。
实际选择方法
先判断约束是否允许轻微违反。不能违反时使用硬约束;允许折中时,再设计尺度合理、最好可微的惩罚项。
训练时可从较小的 开始,同时记录任务损失与约束违反量。违反量下降不足时逐步增大 ;若出现震荡或梯度过大,应归一化各项、减小学习率,或分阶段提高惩罚系数。