大模型原理与训练 / 系统课时

困惑度

困惑度

本课解决语言模型概率损失如何转化为直观指标的问题。你将理解困惑度与交叉熵的数学关系,完成一次可复现计算,并掌握跨模型比较时最容易忽略的限制。

学习目标

  • 解释交叉熵与困惑度之间的转换关系
  • 根据目标词元概率计算语言模型困惑度
  • 判断两组困惑度是否具备可比性

困惑度表示什么

语言模型会为下一个词元分配概率。正确词元的概率越高,负对数损失越小;在全部有效词元上求平均,就得到交叉熵。使用自然对数时,困惑度定义为:

H=−1N∑i=1Nlog⁡p(xi),PPL=eHH=-\frac{1}{N}\sum_{i=1}^{N}\log p(x_i),\quad PPL=e^H

困惑度可以理解为模型在每一步面对的“等效候选数量”。例如困惑度约为 4,并不表示词表里只有 4 个词元,而是表示模型的不确定性大致相当于在 4 个同概率候选中选择。对同一数据、同一词元化方式和同一计算口径,数值越低通常越好。

用概率计算困惑度

下面假设模型对四个真实目标词元给出的概率依次为 0.10、0.30、0.50 和 0.20。代码先计算平均负对数似然,再取指数。

python
import math

target_probabilities = [0.10, 0.30, 0.50, 0.20]

cross_entropy = -sum(
    math.log(probability) for probability in target_probabilities
) / len(target_probabilities)
perplexity = math.exp(cross_entropy)

print(f"cross_entropy={cross_entropy:.4f}")
print(f"perplexity={perplexity:.4f}")

预期输出

text
cross_entropy=1.4523
perplexity=4.2729

若某个真实词元的预测概率接近 0,它的负对数损失会急剧增大,最终显著拉高困惑度。实际框架通常直接根据 logits 计算交叉熵,以避免手工取概率时出现数值下溢。

正确统计有效词元

批量评估时,应先汇总所有非填充词元的损失,再除以有效词元总数。不能先计算每个批次的平均损失再做简单平均,因为不同批次的有效词元数量可能不同。

对于因果语言模型,标签通常是输入序列向左错位后的下一个词元;填充位置和不参与预测的位置必须通过忽略索引排除。否则大量 padding 会改变分母,使结果失真。报告结果时应注明测试集、最大上下文长度、截断规则和是否包含特殊词元。

困惑度的比较边界

不同分词器会把同一句话切成不同数量的词元,因此基于词元平均损失得到的困惑度通常不能直接跨分词器比较。词表大小、字节级或子词级切分方式都会影响数值。

困惑度只衡量模型对参考文本分配概率的能力,不直接衡量事实正确性、指令遵循、安全性或文本多样性。一个模型可能取得更低困惑度,却生成重复、保守或不符合用户要求的内容。

数据泄漏也会让困惑度异常偏低。如果测试文本出现在训练数据中,指标反映的可能是记忆而非泛化。因此,正式评估应使用隔离的数据集,并结合人工评测或任务指标。

使用建议

在同一模型迭代中,固定分词器、测试集和预处理流程,困惑度适合观察训练是否收敛以及版本是否退化。比较不同架构时,只有评估口径一致才有意义;若分词器不同,可补充按字节或字符归一化的损失,并结合下游任务结果解释。

本课总结

  • 困惑度是平均交叉熵的指数形式,数值越低表示参考文本概率通常越高
  • 只有分词器、数据集和统计口径一致时,困惑度才适合直接比较
  • 困惑度不能替代事实性、指令遵循和人工质量评估

下一课预告

下一课将继续学习模型可解释性,分析注意力权重能说明什么、不能说明什么,以及如何避免把可视化结果误当作因果解释。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

困惑度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通