大模型原理与训练 / 系统课时
标签平滑
标签平滑
标签平滑通过把“唯一正确”的独热标签改成稍微分散的目标分布,降低模型把单一类别概率推到极端值的倾向。本课将说明其数学形式、损失计算方式、适用边界,并用一个可运行示例验证平滑后的交叉熵。
学习目标
- 解释标签平滑为什么能缓解模型过度自信
- 根据类别数和平滑系数构造目标分布
- 判断标签平滑的合理取值与不适用场景
为什么模型会过度自信
普通分类训练使用独热标签:真实类别的目标概率为 1,其余类别为 0。交叉熵会持续推动真实类别的预测概率接近 1,即使样本存在噪声、类别边界模糊或标注并不完全可靠,模型仍可能形成过大的输出差距。
这种现象不一定降低训练集准确率,却可能让验证集泛化和概率校准变差。标签平滑不改变真实类别是谁,而是限制目标分布的极端程度,让模型保留少量不确定性。
标签平滑的数学形式
设类别数为 ,真实类别索引为 ,平滑系数为 。一种常用定义是:
随后使用平滑后的 与模型预测概率 计算交叉熵:
另一种实现会把 平均分给全部类别,即 。两种定义都合理,但数值含义不同,阅读框架文档或复现实验时不能混用。
主示例:构造平滑标签并计算损失
下面使用纯 Python 构造五分类目标分布,并通过稳定的 Log-Softmax 计算损失。
import math
def log_softmax(values):
max_value = max(values)
shifted = [value - max_value for value in values]
log_sum_exp = math.log(sum(math.exp(value) for value in shifted))
return [value - log_sum_exp for value in shifted]
def smooth_target(class_count, target_index, epsilon):
# 非真实类别平均分配 epsilon,真实类别保留 1 - epsilon
target = [epsilon / (class_count - 1)] * class_count
target[target_index] = 1.0 - epsilon
return target
logits = [0.2, 1.0, 2.0, 0.5, -0.3]
target = smooth_target(class_count=5, target_index=2, epsilon=0.1)
log_probs = log_softmax(logits)
loss = -sum(weight * log_prob for weight, log_prob in zip(target, log_probs))
print([round(value, 3) for value in target])
print(round(sum(target), 3))
print(round(loss, 4))预期输出:
[0.025, 0.025, 0.9, 0.025, 0.025]
1.0
0.7837输出表明目标概率总和仍为 1,真实类别不再占满全部概率质量。训练框架通常会直接在交叉熵接口中提供 label_smoothing 参数,但其分配公式应以对应版本文档为准。
系数选择与使用边界
越大,监督信号越平缓。实践中可从 0.05 或 0.1 开始验证,并同时观察验证集损失、准确率和概率校准,而不是只比较训练集损失。类别很少、标签非常可靠时,过大的平滑可能削弱有效监督。
多标签分类通常为每个标签独立建模,不能直接套用单标签 Softmax 的分配方式。知识蒸馏中,教师模型已经提供软目标,再叠加较强标签平滑也可能重复削弱置信信息。
常见误区
- 标签平滑是正则化手段,不保证所有数据集都提升准确率
- 平滑后的目标分布必须归一化,真实类别与其他类别的概率总和应为 1
- 训练时使用平滑标签,不代表推理时还要修改模型输出概率
本课总结
- 标签平滑通过降低独热标签的极端程度,抑制模型形成过度自信的输出
- 核心是明确 如何在真实类别和其他类别之间分配
- 系数应通过验证集选择,并结合任务类型判断是否适用
下一课预告
下一课将学习 AdamW 如何把自适应梯度更新与权重衰减解耦,并掌握学习率、权重衰减和参数分组的配置方法。