高等数学 / 系统课时

L1正则化

L1正则化

L1 正则化通过惩罚参数绝对值之和,使不重要的权重更容易被压到零,从而得到稀疏模型。本课将连接绝对值函数的不可导点、次梯度更新和几何约束,解释稀疏解为什么不是偶然现象。

学习目标

  • 写出 L1 正则化目标及其分段梯度
  • 理解零点不可导时如何使用次梯度
  • 解释 L1 正则化产生稀疏解的机制

绝对值惩罚的形式

设模型参数为 θ\theta,原始损失为 L(θ)L(\theta)。加入 L1 正则化后,目标函数为:

J(θ)=L(θ)+λ∥θ∥1J(\theta)=L(\theta)+\lambda\|\theta\|_1

其中 λ≥0\lambda\ge0,且

∥θ∥1=∑i∣θi∣\|\theta\|_1=\sum_i|\theta_i|

L1 惩罚对每个参数的绝对值按线性速度增长。参数从 11 增加到 22,惩罚增加 11;从 1010 增加到 1111,惩罚仍只增加 11。与 L2 不同,它不会因为参数已经很大而进一步放大惩罚斜率。

不可导点与次梯度

对单个参数 θi\theta_i,绝对值函数的导数为:

d∣θi∣dθi={1,θi>0−1,θi<0\frac{d|\theta_i|}{d\theta_i}= \begin{cases} 1,&\theta_i>0\\ -1,&\theta_i<0 \end{cases}

在 θi=0\theta_i=0 处,左右导数不相等,因此普通导数不存在。凸优化中通常使用次梯度描述这一点:

∂∣θi∣={{1},θi>0[−1,1],θi=0{−1},θi<0\partial|\theta_i|= \begin{cases} \{1\},&\theta_i>0\\ [-1,1],&\theta_i=0\\ \{-1\},&\theta_i<0 \end{cases}

在非零坐标,惩罚项的梯度是 λsign⁡(θi)\lambda\operatorname{sign}(\theta_i)。若 LL 可微,某个最优点的第 ii 个权重为零,需要数据梯度被区间 [−λ,λ][-\lambda,\lambda] 内的惩罚次梯度抵消,即 ∣∂iL∣≤λ|\partial_i L|\le\lambda。若数据梯度超出这个范围,该坐标无法在零点满足一阶最优条件。

L1正则化产生稀疏解的几何原因

软阈值更新如何得到零

当 LL 是光滑损失时,近端梯度法将数据梯度步和 L1 近端步分开。标准凸问题通常根据 ∇L\nabla L 的 Lipschitz 常数或回溯规则选步长。先沿数据损失梯度更新,再执行软阈值操作:

z=θ−η∇L(θ)z=\theta-\eta\nabla L(\theta)
θi←sign⁡(zi)max⁡(∣zi∣−ηλ,0)\theta_i\leftarrow\operatorname{sign}(z_i)\max(|z_i|-\eta\lambda,0)

当 ∣zi∣≤ηλ|z_i|\le\eta\lambda 时,更新结果会直接变成零;当绝对值更大时,则向零方向缩小固定距离。近端步把一段连续区间内的值直接映射为零。下面把一组梯度步后的值当作 zz,执行一次软阈值。

python
import numpy as np

values = np.array([0.03, -0.20, 1.50, -2.00])
learning_rate = 0.1
regularization = 0.5
threshold = learning_rate * regularization

# 近端算子:绝对值不超过阈值的参数直接变为零
updated = np.sign(values) * np.maximum(np.abs(values) - threshold, 0.0)

print("threshold =", threshold)
print("updated =", updated)

np.testing.assert_allclose(updated, [0.0, -0.15, 1.45, -1.95])
boundary = np.array([-threshold, threshold])
assert np.all(np.sign(boundary) * np.maximum(np.abs(boundary) - threshold, 0) == 0)

预期输出

text
threshold = 0.05
updated = [ 0.   -0.15  1.45 -1.95]

第一个参数的绝对值为 0.030.03,小于阈值 0.050.05,因此被直接压到零;其他参数则各自向零移动 0.050.05。这说明 L1 不只是“让参数变小”,还会形成明确的零值。

例如最小化 (w−a)2/2+λ∣w∣(w-a)^2/2+\lambda|w|,最优解是 w∗=sign⁡(a)max⁡(∣a∣−λ,0)w^*=\operatorname{sign}(a)\max(|a|-\lambda,0)。当 ∣a∣≤λ|a|\le\lambda 时,数据梯度在零点的大小不超过惩罚次梯度能抵消的范围,故最优值在 w=0w=0 取得。

稀疏性的价值与代价

稀疏参数可以减少无效特征的影响,并提高线性模型的可解释性。当输入维度很高、只有少量特征真正有用时,L1 常被用于特征选择。

但稀疏并不等于一定更好。若多个特征高度相关,L1 可能保留其中一个而压掉其他特征,结果对数据扰动较敏感。此时可以考虑结合 L1 与 L2 的 Elastic Net,让模型同时获得稀疏性与更稳定的参数分配。

λ\lambda 仍应通过验证集选择。过小无法形成明显稀疏,过大则可能删除有用特征,使训练误差和验证误差同时升高。

易混淆点

L1 正则化在零点不可导,不代表目标函数无法优化。次梯度法、坐标下降和近端梯度法都能处理这一结构。

L1 产生稀疏解也不意味着每次普通梯度更新都会精确得到零。使用软阈值近端算子时,参数进入阈值区间才会被直接截断为零。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

L1正则化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通