机器学习与深度学习 / 系统课时

最大似然与交叉熵

最大似然与交叉熵

本课解决“为什么分类模型通常用交叉熵训练”这个问题。你将从样本概率出发,依次建立最大似然、负对数似然与交叉熵的等价关系,并用一个可运行示例验证三者只是同一目标的不同写法。

学习目标

  • 理解最大似然估计如何把“预测真实标签的概率”转化为训练目标
  • 说明取对数后为何得到负对数似然
  • 判断多分类交叉熵何时等价于负对数似然

从样本概率到最大似然

设分类模型对输入 xnx_n 给出条件概率 pθ(yn∣xn)p_\theta(y_n\mid x_n)。训练数据已经告诉我们真实标签,因此一个自然目标是:让每个样本真实类别的预测概率都尽可能大。

若样本相互独立,整批数据同时出现的似然为:

L(θ)=∏n=1Npθ(yn∣xn)L(\theta)=\prod_{n=1}^{N}p_\theta(y_n\mid x_n)

最大似然估计就是寻找参数 θ\theta,使 L(θ)L(\theta) 最大。它关注的不是“模型整体看起来像不像”,而是模型是否把足够高的概率分配给了已经发生的真实标签。

最大似然、负对数似然与交叉熵关系图

为什么要取对数

概率通常小于 1,许多概率连乘后会非常接近 0,既不便计算,也不便求导。由于对数函数单调递增,最大化似然与最大化对数似然拥有相同最优解:

log⁡L(θ)=∑n=1Nlog⁡pθ(yn∣xn)\log L(\theta)=\sum_{n=1}^{N}\log p_\theta(y_n\mid x_n)

训练框架通常采用“最小化损失”的接口,因此再加一个负号,得到平均负对数似然:

NLL⁡(θ)=−1N∑n=1Nlog⁡pθ(yn∣xn)\operatorname{NLL}(\theta)=-\frac{1}{N}\sum_{n=1}^{N}\log p_\theta(y_n\mid x_n)

真实类别概率越接近 1,负对数越接近 0;真实类别概率越接近 0,损失会急剧增大。这使模型对“自信但错误”的预测承担更大代价。

交叉熵为何等于负对数似然

对一个有 KK 个类别的样本,令真实标签采用 one-hot 向量 yy,模型输出类别概率 pp。多分类交叉熵为:

CE⁡(y,p)=−∑k=1Kyklog⁡pk\operatorname{CE}(y,p)=-\sum_{k=1}^{K}y_k\log p_k

one-hot 向量只有真实类别位置为 1,其余位置为 0,因此求和后只剩 −log⁡ptrue-\log p_{\text{true}}。这正是单个样本的负对数似然;对全部样本取平均后,就得到训练中常见的交叉熵损失。

这个等价关系有两个前提:模型输出表示合法的类别概率分布;标签表示从该分类分布中观测到的真实类别。若任务不是分类概率建模,交叉熵就不一定是合适的损失。

用代码验证三者关系

下面用三个样本验证:最大化似然、最大化对数似然、最小化平均负对数似然和最小化交叉熵,评价的是同一组真实类别概率。

python
import math

probabilities = [
    [0.9, 0.1],
    [0.2, 0.8],
    [0.7, 0.3],
]
labels = [0, 1, 0]

# 只取每个样本真实类别对应的预测概率
true_class_probs = [
    probabilities[i][labels[i]] for i in range(len(labels))
]

likelihood = math.prod(true_class_probs)
log_likelihood = sum(math.log(p) for p in true_class_probs)
nll = -log_likelihood / len(labels)

# one-hot 交叉熵化简后就是相同的负对数概率平均值
cross_entropy = -sum(
    math.log(probabilities[i][labels[i]]) for i in range(len(labels))
) / len(labels)

print(f"likelihood={likelihood:.6f}")
print(f"log_likelihood={log_likelihood:.6f}")
print(f"nll={nll:.6f}")
print(f"cross_entropy={cross_entropy:.6f}")

预期输出

text
likelihood=0.504000
log_likelihood=-0.685179
nll=0.228393
cross_entropy=0.228393

输出中 nll 与 cross_entropy 完全一致。似然越大,对数似然越大;同时负对数似然越小,因此只是优化方向和表达方式发生了变化。

使用时的关键边界

神经网络通常输出未归一化的 logits,而不是概率。实际训练应优先使用框架提供的交叉熵函数,让它在内部完成 log_softmax 与负对数似然计算,避免手动先做 Softmax 再取对数造成数值问题。

当真实类别概率为 0 时,log⁡0\log 0 不存在。可靠实现不会直接对裸概率取对数,而会通过稳定的 LogSoftmax 或概率裁剪避免无穷大和 NaN。

还要确认损失的聚合方式。mean 表示样本平均,sum 表示直接求和;二者梯度尺度不同,会影响学习率和批量大小的配合。

本课总结

  • 最大似然要求模型提高真实标签的联合概率
  • 取对数并加负号后,最大化似然转化为最小化负对数似然
  • one-hot 多分类任务中,交叉熵就是平均负对数似然

下一课预告

下一课将处理实际计算中的溢出、下溢与精度损失,并推导稳定版 Softmax 和 LogSumExp 的写法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

最大似然与交叉熵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通