高等数学 / 系统课时

L2正则化

L2正则化

L2 正则化对参数幅度施加平方惩罚,让优化在拟合数据和控制参数范数之间折中。本课从目标函数、梯度更新和几何直觉出发,说明它为什么会持续缩小权重,以及它与权重衰减的关系。

学习目标

  • 写出带 L2 惩罚项的目标函数与梯度
  • 解释 L2 正则化为什么能抑制参数过大
  • 用一个可运行示例观察权重收缩效果

从原始损失到正则化目标

设模型参数为向量 θ\theta,原始经验损失为 L(θ)L(\theta)。加入 L2 正则化后,优化目标通常写成:

J(θ)=L(θ)+λ2∥θ∥22J(\theta)=L(\theta)+\frac{\lambda}{2}\|\theta\|_2^2

其中,λ≥0\lambda\ge 0 控制正则化强度,∥θ∥22=∑iθi2\|\theta\|_2^2=\sum_i\theta_i^2。前半部分要求模型拟合训练数据,后半部分要求参数不要过大。λ\lambda 越大,模型越偏向较小的权重,但过大时也可能造成欠拟合。

平方惩罚对大参数增长很快。例如参数从 11 增加到 22 时,惩罚从 11 变为 44;从 22 增加到 33 时,惩罚又变为 99。因此,优化器会更主动地压制绝对值很大的权重。

梯度形式与权重收缩

对正则项求梯度可得:

∇θ(λ2∥θ∥22)=λθ\nabla_\theta\left(\frac{\lambda}{2}\|\theta\|_2^2\right)=\lambda\theta

于是总梯度为:

∇J(θ)=∇L(θ)+λθ\nabla J(\theta)=\nabla L(\theta)+\lambda\theta

使用学习率 η\eta 做梯度下降时:

θ←θ−η∇L(θ)−ηλθ\theta\leftarrow\theta-\eta\nabla L(\theta)-\eta\lambda\theta

整理后得到:

θ←(1−ηλ)θ−η∇L(θ)\theta\leftarrow(1-\eta\lambda)\theta-\eta\nabla L(\theta)

当 0<ηλ<10<\eta\lambda<1 时,(1−ηλ)θ(1-\eta\lambda)\theta 把旧参数按比例缩小且保持符号,数据梯度项随后与它相加。数据梯度可能让某个权重的绝对值增大,完整更新需要看两项的合力。只看惩罚项时,1<ηλ<21<\eta\lambda<2 会交替变号但仍衰减,ηλ>2\eta\lambda>2 则使绝对值增长。

注意:对这里无动量的 SGD 更新,把 L2 梯度加到数据梯度与直接乘权重衰减因子是同一个式子。Adam 会按自适应规则处理合成梯度,AdamW 则把权重衰减作为单独步骤,两者一般得到不同的更新。

L2正则化的几何约束

一个最小数值示例

下面只优化 L2 惩罚项,不加入数据损失。这样可以直接观察权重在每一步按固定比例缩小。

python
import numpy as np

weights = np.array([3.0, -4.0])
learning_rate = 0.1
regularization = 0.2

for step in range(3):
    # L2 正则项的梯度为 lambda * weights
    gradient = regularization * weights
    weights = weights - learning_rate * gradient
    print(f"step={step + 1}, weights={weights.round(6)}")

np.testing.assert_allclose(weights, np.array([3.0, -4.0]) * 0.98**3)

预期输出

text
step=1, weights=[ 2.94 -3.92]
step=2, weights=[ 2.8812 -3.8416]
step=3, weights=[ 2.823576 -3.764768]

每一步都乘以 1−0.1×0.2=0.981-0.1\times0.2=0.98,因此正负权重都会向零靠近,但通常不会在有限步内直接变成零。这也是 L2 正则化产生“小而密集”参数,而非稀疏参数的重要原因。

加入数据损失后,最优权重通常还要拟合数据。例如 L(w)=(w−3)2/2L(w)=(w-3)^2/2,加入 λw2/2\lambda w^2/2 后令导数为零,可得 w∗=3/(1+λ)w^*=3/(1+\lambda)。当 λ=2\lambda=2 时,最优权重从 33 缩到 11。

如何选择正则化强度

λ=0\lambda=0 时,训练过程不受 L2 惩罚影响;λ\lambda 较小时,主要作用是抑制极端权重,泛化是否改善需看验证结果;λ\lambda 过大时,参数被强烈压缩,模型可能无法表达数据中的有效规律。

实际训练中应在验证集上比较多个候选值,并同时观察训练损失与验证损失。若训练损失很低但验证损失明显更高,可适当增大 λ\lambda;若训练和验证表现都差,则应警惕正则化过强。

偏置项是否正则化要看模型与框架约定。常见做法是不对偏置和归一化层参数施加权重衰减,因为它们通常不承担相同的复杂度控制作用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

L2正则化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通