大模型原理与训练 / 系统课时

调好温度与蒸馏损失权重

调好温度与蒸馏损失权重

本节解决蒸馏训练中的两个核心旋钮:温度决定教师分布有多“软”,蒸馏权重决定学生更听教师还是更听真实标签。你将用验证集识别过度平滑、蒸馏信号过弱和教师偏差放大的现象,并选出稳定组合。

学习目标

  • 判断 Temperature 对软目标信息量和训练信号的影响。
  • 用统一定义混合监督损失与蒸馏损失,避免权重方向混淆。
  • 根据验证集任务指标选择稳定组合,而不是只比较训练总损失。

明确两个超参数各控制什么

设 ww 表示蒸馏损失权重,采用下面的统一定义:

L=(1−w)Lsup+wLKDL=(1-w)L_{sup}+wL_{KD}

因此 w=0w=0 表示只看真实标签,w=1w=1 表示只模仿教师。不同代码库有时会把 alpha 定义成监督损失权重,方向恰好相反,所以调参前必须先确认实现公式。

Temperature TT 控制教师分布的平滑程度。T=1T=1 接近教师原始输出;适度增大 TT 会暴露次优 Token 的相对偏好;过大时概率趋于均匀,类别之间的可辨别信号会变弱。即使 KL 外乘了 T2T^2,也只能补偿梯度尺度,不能恢复已经被过度平滑掉的结构信息。

温度与蒸馏权重的失衡区域

先识别三类失衡现象

温度过高时,教师分布会变得过平,训练中常见现象是 KD 损失变化很小、学生对类别间细微差异不再敏感,验证指标也没有随教师一致率提升。相反,温度太低时,软目标接近硬标签,蒸馏带来的“暗知识”会减少。

学生“学不动教师”通常先检查 ww 是否太小,其次检查温度是否让分布过平,以及 KD 与监督损失的数值量级是否严重失衡。若训练集 KD 持续下降,但学生与教师输出仍没有明显靠近,还应检查掩码、对齐位置和教师输出是否正确。

教师并不等于真实答案。若 ww 太高,学生可能越来越像教师,同时真实标签上的验证指标反而下降。这是教师偏差被放大的典型信号。此时应优先降低蒸馏权重,而不是继续追求更低的 KD 损失。

用验证集做小范围搜索

不要直接比较不同 ww 下的“训练总损失”,因为权重变化后目标函数本身已经变了。更可靠的依据是固定验证集上的任务指标,例如准确率、困惑度或真实标签交叉熵,并同时观察教师一致率是否出现“更像教师但任务更差”的反向变化。

实践中可以先取少量离散候选,例如 T = [1, 2, 4, 8]、w = [0.2, 0.5, 0.8]。先粗扫,再围绕最优区域补邻近点;最后至少用多个随机种子复测最有希望的两三个组合,避免把偶然波动当作最佳超参数。

下面的可运行脚本演示如何从已经完成的实验记录中选择稳定组合:先保留准确率距离最优值不超过 0.003 的候选,再选真实标签验证交叉熵最低者。

python
records = [
    {"temperature": 1.0, "kd_weight": 0.2, "val_ce": 0.490, "val_accuracy": 0.806},
    {"temperature": 2.0, "kd_weight": 0.5, "val_ce": 0.451, "val_accuracy": 0.822},
    {"temperature": 4.0, "kd_weight": 0.5, "val_ce": 0.438, "val_accuracy": 0.827},
    {"temperature": 4.0, "kd_weight": 0.8, "val_ce": 0.462, "val_accuracy": 0.819},
    {"temperature": 8.0, "kd_weight": 0.5, "val_ce": 0.479, "val_accuracy": 0.811},
    {"temperature": 2.0, "kd_weight": 0.8, "val_ce": 0.447, "val_accuracy": 0.825},
]

allowed_accuracy_drop = 0.003
best_accuracy = max(item["val_accuracy"] for item in records)

stable_candidates = [
    item
    for item in records
    if item["val_accuracy"] >= best_accuracy - allowed_accuracy_drop
]

best = min(stable_candidates, key=lambda item: item["val_ce"])

print(f"best_temperature={best['temperature']}")
print(f"best_kd_weight={best['kd_weight']}")
print(f"val_accuracy={best['val_accuracy']:.3f}")
print(f"val_ce={best['val_ce']:.3f}")

预期输出

text
best_temperature=4.0
best_kd_weight=0.5
val_accuracy=0.827
val_ce=0.438

这里的数值只是示例实验记录,不能直接迁移到真实模型;真正可迁移的是选择原则:先用任务指标圈出高质量区域,再用更稳定的验证损失、多个随机种子和训练曲线判断哪个组合更可靠。

用现象反推下一步调整

当高温度候选普遍变差时,先向较低温度收缩搜索范围;当提高 ww 后教师一致率上升但真实标签指标下降时,降低蒸馏权重;当低 ww 与纯监督训练几乎没有差异时,再逐步提高蒸馏权重,而不是一次跳到接近 1。

一个稳定组合通常不是某个孤立尖点,而是在相邻 Temperature 和权重附近都保持较好表现的区域。选择这种“宽而稳”的参数区间,比追逐单次实验中的最高分更适合后续放大数据规模和上线训练。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调好温度与蒸馏损失权重

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通