大模型原理与训练 / 系统课时

交叉熵损失

交叉熵损失

语言模型会为词表中的每个词元输出一个分数,但训练需要把整组分数压缩成可比较的损失值。本课从 Softmax 概率出发,推导目标词元的交叉熵,并说明序列训练中如何忽略无效位置和稳定计算。

学习目标

  • 说明 logits、词元概率、目标标签与交叉熵之间的关系
  • 计算单个词元位置和整个序列的平均损失
  • 理解忽略位置、数值稳定性与标签平滑的作用

从分数到单位置损失

模型最后一层会输出长度等于词表大小的 logits 向量 zz。logits 可以是任意实数,不要求总和为 1。Softmax 将它转换为概率分布:

pi=ezi∑j=1Vezjp_i=\frac{e^{z_i}}{\sum_{j=1}^{V}e^{z_j}}

其中 VV 是词表大小,pip_i 表示当前位置预测第 ii 个词元的概率。假设目标词元索引为 yy,交叉熵只关心模型分配给正确词元的概率:

L=−log⁡py\mathcal{L}=-\log p_y

目标概率越高,损失越小;目标概率越低,损失增长越快。以自然对数计算时,正确词元概率为 0.70.7,损失约为 0.3570.357;概率只有 0.10.1,损失约为 2.3032.303。

正确词元概率 单位置损失 含义
0.9 0.105 预测较有把握
0.5 0.693 仍有明显不确定性
0.1 2.303 正确词元被严重低估

交叉熵并不是简单判断“猜对或猜错”。即使最高概率词元正确,只要置信度不高,仍会产生明显损失;这使模型不仅要选对答案,还要把更多概率质量分配给正确词元。

序列损失如何聚合

一个批次通常包含多个样本和多个词元位置。设所有有效监督位置组成集合 SS,平均交叉熵为:

Lbatch=−1∣S∣∑t∈Slog⁡pt(yt)\mathcal{L}_{\text{batch}}=-\frac{1}{|S|}\sum_{t\in S}\log p_t(y_t)

这里的 SS 不包含填充位置,也不包含被任务规则忽略的位置。因果语言建模会统计所有有效的下一词元标签;掩码语言建模通常只统计被选中恢复的词元。用有效位置数量做平均,可以减少序列长度差异对损失尺度的影响。

语言模型交叉熵计算流程

数值稳定与判断边界

直接计算 ezie^{z_i} 可能在 logits 很大时溢出。深度学习框架通常把 Log-Softmax 与负对数似然合并为交叉熵函数,并在内部减去最大 logit。因此,交叉熵函数通常接收原始 logits,而不是已经经过 Softmax 的概率。

还要确认聚合方式。mean 表示对有效位置求平均,sum 表示直接求和;两者会改变梯度尺度。标签平滑会把少量目标概率分配给其他词元,可缓解过度自信,但会改变理想目标分布,不能与普通 one-hot 标签混为一谈。

随机初始化且预测接近均匀分布时,单位置损失通常接近 log⁡V\log V。训练有效时,训练集损失应总体下降;若损失变为 NaN,应优先检查学习率、非法标签索引、数值溢出和有效位置数量是否为零。不同词表、分词方式或标签规则下的损失值不能直接横向比较。

本课总结

  • 交叉熵等于正确词元对数概率的相反数,正确词元概率越高,损失越小
  • 序列训练应只聚合有效监督位置,并明确使用平均还是求和
  • 实现时应把原始 logits 交给稳定的交叉熵函数,避免重复 Softmax 和数值溢出

下一课预告

下一课将把损失函数与梯度更新连接起来,观察模型参数如何通过反向传播和优化器逐步降低训练误差。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

交叉熵损失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通