高等数学 / 系统课时

Softmax分类器

Softmax分类器

本课把一组任意实数分类得分转换为可解释的概率,并将 Softmax 与交叉熵连成一个可训练的多分类模型。完成后,你能写出稳定实现,并直接判断每个类别得分应被怎样调整。

学习目标

  • 理解 Softmax 如何把 logits 映射为概率分布
  • 推导交叉熵对 logits 的梯度 p−yp-y
  • 使用数值稳定写法实现并验证分类器

从分类得分到概率

设模型输出 KK 个类别得分 z1,…,zKz_1,\ldots,z_K,这些值称为 logits。Softmax 对每个得分取指数并归一化:

pi=ezi∑j=1Kezjp_i=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}}

得到的每个 pip_i 都在 0 到 1 之间,且总和为 1。较大的 logit 会获得更高概率,但所有类别仍会共同参与归一化,因此某一类得分上升也会压低其他类别的概率。

Softmax分类器从得分到梯度的数据流

Softmax 对所有 logits 同时加上同一个常数不敏感。工程实现通常先计算 zi−max⁡(z)z_i-\max(z),再取指数。这样概率不变,却能避免较大正数在指数运算中上溢。

交叉熵如何衡量分类误差

若真实类别使用 one-hot 向量 yy 表示,交叉熵为:

L=−∑i=1Kyilog⁡piL=-\sum_{i=1}^{K}y_i\log p_i

因为只有真实类别位置的 yiy_i 等于 1,损失也可写成 L=−log⁡ptL=-\log p_t,其中 tt 是真实类别。真实类别概率越接近 1,损失越接近 0;若模型把真实类别概率压得很低,损失会快速增大。

梯度为何简化为 p-y

Softmax 的局部导数同时包含同类和异类影响:

∂pi∂zj=pi(δij−pj)\frac{\partial p_i}{\partial z_j}=p_i(\delta_{ij}-p_j)

把它与交叉熵的导数按链式法则合并后,可得到非常紧凑的结果:

∂L∂zj=pj−yj\frac{\partial L}{\partial z_j}=p_j-y_j

这意味着真实类别位置的梯度通常为负,梯度下降会提高该类 logit;其他类别位置的梯度为正,更新会降低它们的 logit。所有分量之和为 0,也符合 Softmax 对整体平移不敏感的性质。

可运行实现与验证

下面用 NumPy 完成单样本、三分类计算。先用平移后的 logits 计算对数归一化项,再减去平移后的目标 logit。梯度由概率减去 one-hot 标签得到。

python
import numpy as np

logits = np.array([2.0, 1.0, 0.1])
target = 0

# 平移 logits,避免指数上溢,同时保持概率不变
shifted = logits - np.max(logits)
exp_values = np.exp(shifted)
probabilities = exp_values / np.sum(exp_values)

# 从平移后的 logits 直接求交叉熵
loss = np.log(np.sum(exp_values)) - shifted[target]

# p - y:先复制概率,再在真实类别位置减 1
gradient = probabilities.copy()
gradient[target] -= 1.0

print("probabilities:", np.round(probabilities, 6))
print("loss:", round(float(loss), 6))
print("gradient:", np.round(gradient, 6))

预期输出

text
probabilities: [0.659001 0.242433 0.098566]
loss: 0.41703
gradient: [-0.340999  0.242433  0.098566]

输出表明第 0 类已经概率最高,但仍未达到 1,因此其梯度为负;另外两类梯度为正。三个梯度相加约等于 0,说明结果与理论一致。

训练中的关键边界

批量训练时,logits 通常形如 B×KB\times K,应沿类别维计算最大值、指数和归一化,并根据约定对样本损失求和或求平均。真实标签必须是 00 到 K−1K-1 的整数。手写 NumPy 代码应显式校验范围,因为负下标会从数组尾部索引。

实际框架常把 Softmax 与交叉熵融合成一个算子,直接从 logits 计算损失。这样可以避免对已下溢为零的概率取对数。例如 logits 为 [1000,0][1000,0]、目标类为 11 时,平移后的 logits 是 [0,−1000][0,-1000],算得损失约为 10001000,即使目标类概率已舍入为零。推理需要概率时可单独执行 Softmax。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Softmax分类器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通