大模型原理与训练 / 系统课时

从 Logits 算出交叉熵损失

从 Logits 算出交叉熵损失

GPT 在每个位置输出的是覆盖整个词表的一组 Logits,而不是直接给出概率。训练时需要把这些未归一化分数转换为概率分布,再取真实词元对应概率的负对数。交叉熵正是把这条计算链压缩成一个可优化的标量损失。

学习目标

  • 理解 Logits、Softmax 概率与交叉熵之间的计算关系
  • 手算并验证一个位置的负对数似然损失
  • 判断高置信度错误、数值稳定性与平均损失的关键边界

从 Logits 得到概率分布

假设某个位置的词表只有三个候选词元,模型输出 Logits 为 [2.0,1.0,0.0][2.0,1.0,0.0]。Logits 可以是任意实数,大小只表示相对偏好,三项既不要求非负,也不要求总和为 1。

Softmax 将它们转换成概率。实际计算通常先减去最大 Logit mm,避免指数运算溢出:

pi=ezi−m∑jezj−mp_i=\frac{e^{z_i-m}}{\sum_j e^{z_j-m}}

所有 Logits 同时减去相同常数不会改变 Softmax 的最终概率,因此这一步只改善数值稳定性。

Logits 到交叉熵损失的计算链

取真实标签的负对数

假设真实标签恰好是索引 0。Softmax 后只需要取目标词元的概率 pyp_y,单个位置的负对数似然为:

L=−log⁡py\mathcal{L}=-\log p_y

下面使用 Python 标准库完整计算这一过程:

python
import math

logits = [2.0, 1.0, 0.0]
target_index = 0

# 先减最大值,避免较大的 Logit 在指数运算时溢出。
maximum = max(logits)
exp_values = [math.exp(value - maximum) for value in logits]
total = sum(exp_values)
probabilities = [value / total for value in exp_values]

loss = -math.log(probabilities[target_index])

print("probs:", " ".join(f"{p:.6f}" for p in probabilities))
print(f"loss: {loss:.6f}")

预期输出

text
probs: 0.665241 0.244728 0.090031
loss: 0.407606

真实词元得到约 0.6650.665 的概率,因此损失约为 0.4080.408。如果目标概率进一步接近 1,−log⁡py-\log p_y 会趋近 0;如果目标概率趋近 0,损失会快速增大。

为什么错误且自信会被重罚

交叉熵并不只关心“最高分选对没有”,还关心模型给真实答案分配了多少概率。真实词元概率从 0.50.5 降到 0.10.1 时,损失明显增加;如果只剩 0.0010.001,负对数会变得很大。这使梯度能够持续推动模型重新分配概率,而不是只处理离散的对错结果。

对于一段序列,模型在每个有效位置都有一个目标词元。若共有 NN 个参与训练的位置,常见做法是对这些位置的负对数似然取平均:

Lmean=1N∑t=1N−log⁡pt,yt\mathcal{L}_{\text{mean}}=\frac{1}{N}\sum_{t=1}^{N}-\log p_{t,y_t}

Padding 或明确忽略的位置不应计入 NN,否则不同批次的补齐长度会改变损失含义。

使用交叉熵接口时的边界

深度学习框架中的交叉熵函数通常直接接收 原始 Logits 和目标类别索引,并在内部组合稳定的 log-softmax 与负对数似然计算。因此训练代码通常不需要先手动调用 Softmax。

语言模型训练中的完整对应关系因此很清楚:每个位置产生一组词表 Logits,交叉熵读取该位置真实下一词元的索引,计算其负对数概率,再对所有有效位置汇总。损失下降意味着模型正在把更多概率质量分配给训练数据中真正出现的下一词元。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从 Logits 算出交叉熵损失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通