大模型原理与训练 / 系统课时

标签平滑

标签平滑

标签平滑通过把“唯一正确”的独热标签改成稍微分散的目标分布,降低模型把单一类别概率推到极端值的倾向。本课将说明其数学形式、损失计算方式、适用边界,并用一个可运行示例验证平滑后的交叉熵。

学习目标

  • 解释标签平滑为什么能缓解模型过度自信
  • 根据类别数和平滑系数构造目标分布
  • 判断标签平滑的合理取值与不适用场景

为什么模型会过度自信

普通分类训练使用独热标签:真实类别的目标概率为 1,其余类别为 0。交叉熵会持续推动真实类别的预测概率接近 1,即使样本存在噪声、类别边界模糊或标注并不完全可靠,模型仍可能形成过大的输出差距。

这种现象不一定降低训练集准确率,却可能让验证集泛化和概率校准变差。标签平滑不改变真实类别是谁,而是限制目标分布的极端程度,让模型保留少量不确定性。

标签平滑的数学形式

设类别数为 KK,真实类别索引为 yy,平滑系数为 ε\varepsilon。一种常用定义是:

qi={1−ε,i=yεK−1,i≠yq_i = \begin{cases} 1-\varepsilon, & i=y \\ \frac{\varepsilon}{K-1}, & i\ne y \end{cases}

随后使用平滑后的 qiq_i 与模型预测概率 pip_i 计算交叉熵:

L=−∑i=1Kqilog⁡piL=-\sum_{i=1}^{K} q_i\log p_i

另一种实现会把 ε\varepsilon 平均分给全部类别,即 (1−ε)onehot⁡(y)+ε/K(1-\varepsilon)\operatorname{onehot}(y)+\varepsilon/K。两种定义都合理,但数值含义不同,阅读框架文档或复现实验时不能混用。

主示例:构造平滑标签并计算损失

下面使用纯 Python 构造五分类目标分布,并通过稳定的 Log-Softmax 计算损失。

python
import math


def log_softmax(values):
    max_value = max(values)
    shifted = [value - max_value for value in values]
    log_sum_exp = math.log(sum(math.exp(value) for value in shifted))
    return [value - log_sum_exp for value in shifted]


def smooth_target(class_count, target_index, epsilon):
    # 非真实类别平均分配 epsilon,真实类别保留 1 - epsilon
    target = [epsilon / (class_count - 1)] * class_count
    target[target_index] = 1.0 - epsilon
    return target


logits = [0.2, 1.0, 2.0, 0.5, -0.3]
target = smooth_target(class_count=5, target_index=2, epsilon=0.1)
log_probs = log_softmax(logits)
loss = -sum(weight * log_prob for weight, log_prob in zip(target, log_probs))

print([round(value, 3) for value in target])
print(round(sum(target), 3))
print(round(loss, 4))

预期输出:

text
[0.025, 0.025, 0.9, 0.025, 0.025]
1.0
0.7837

输出表明目标概率总和仍为 1,真实类别不再占满全部概率质量。训练框架通常会直接在交叉熵接口中提供 label_smoothing 参数,但其分配公式应以对应版本文档为准。

系数选择与使用边界

ε\varepsilon 越大,监督信号越平缓。实践中可从 0.05 或 0.1 开始验证,并同时观察验证集损失、准确率和概率校准,而不是只比较训练集损失。类别很少、标签非常可靠时,过大的平滑可能削弱有效监督。

多标签分类通常为每个标签独立建模,不能直接套用单标签 Softmax 的分配方式。知识蒸馏中,教师模型已经提供软目标,再叠加较强标签平滑也可能重复削弱置信信息。

常见误区

  • 标签平滑是正则化手段,不保证所有数据集都提升准确率
  • 平滑后的目标分布必须归一化,真实类别与其他类别的概率总和应为 1
  • 训练时使用平滑标签,不代表推理时还要修改模型输出概率

本课总结

  • 标签平滑通过降低独热标签的极端程度,抑制模型形成过度自信的输出
  • 核心是明确 ε\varepsilon 如何在真实类别和其他类别之间分配
  • 系数应通过验证集选择,并结合任务类型判断是否适用

下一课预告

下一课将学习 AdamW 如何把自适应梯度更新与权重衰减解耦,并掌握学习率、权重衰减和参数分组的配置方法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

标签平滑

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通