大模型原理与训练 / 系统课时
困惑度
困惑度
本课解决语言模型概率损失如何转化为直观指标的问题。你将理解困惑度与交叉熵的数学关系,完成一次可复现计算,并掌握跨模型比较时最容易忽略的限制。
学习目标
- 解释交叉熵与困惑度之间的转换关系
- 根据目标词元概率计算语言模型困惑度
- 判断两组困惑度是否具备可比性
困惑度表示什么
语言模型会为下一个词元分配概率。正确词元的概率越高,负对数损失越小;在全部有效词元上求平均,就得到交叉熵。使用自然对数时,困惑度定义为:
困惑度可以理解为模型在每一步面对的“等效候选数量”。例如困惑度约为 4,并不表示词表里只有 4 个词元,而是表示模型的不确定性大致相当于在 4 个同概率候选中选择。对同一数据、同一词元化方式和同一计算口径,数值越低通常越好。
用概率计算困惑度
下面假设模型对四个真实目标词元给出的概率依次为 0.10、0.30、0.50 和 0.20。代码先计算平均负对数似然,再取指数。
import math
target_probabilities = [0.10, 0.30, 0.50, 0.20]
cross_entropy = -sum(
math.log(probability) for probability in target_probabilities
) / len(target_probabilities)
perplexity = math.exp(cross_entropy)
print(f"cross_entropy={cross_entropy:.4f}")
print(f"perplexity={perplexity:.4f}")预期输出
cross_entropy=1.4523
perplexity=4.2729若某个真实词元的预测概率接近 0,它的负对数损失会急剧增大,最终显著拉高困惑度。实际框架通常直接根据 logits 计算交叉熵,以避免手工取概率时出现数值下溢。
正确统计有效词元
批量评估时,应先汇总所有非填充词元的损失,再除以有效词元总数。不能先计算每个批次的平均损失再做简单平均,因为不同批次的有效词元数量可能不同。
对于因果语言模型,标签通常是输入序列向左错位后的下一个词元;填充位置和不参与预测的位置必须通过忽略索引排除。否则大量 padding 会改变分母,使结果失真。报告结果时应注明测试集、最大上下文长度、截断规则和是否包含特殊词元。
困惑度的比较边界
不同分词器会把同一句话切成不同数量的词元,因此基于词元平均损失得到的困惑度通常不能直接跨分词器比较。词表大小、字节级或子词级切分方式都会影响数值。
困惑度只衡量模型对参考文本分配概率的能力,不直接衡量事实正确性、指令遵循、安全性或文本多样性。一个模型可能取得更低困惑度,却生成重复、保守或不符合用户要求的内容。
数据泄漏也会让困惑度异常偏低。如果测试文本出现在训练数据中,指标反映的可能是记忆而非泛化。因此,正式评估应使用隔离的数据集,并结合人工评测或任务指标。
使用建议
在同一模型迭代中,固定分词器、测试集和预处理流程,困惑度适合观察训练是否收敛以及版本是否退化。比较不同架构时,只有评估口径一致才有意义;若分词器不同,可补充按字节或字符归一化的损失,并结合下游任务结果解释。
本课总结
- 困惑度是平均交叉熵的指数形式,数值越低表示参考文本概率通常越高
- 只有分词器、数据集和统计口径一致时,困惑度才适合直接比较
- 困惑度不能替代事实性、指令遵循和人工质量评估
下一课预告
下一课将继续学习模型可解释性,分析注意力权重能说明什么、不能说明什么,以及如何避免把可视化结果误当作因果解释。