高等数学 / 系统课时
Softmax约束实例
Softmax约束实例
Softmax解决的是如何把任意实数向量稳定地转换为合法概率分布。本课将从公式、约束证明、稳定实现和温度参数四个方面,说明它为何能保证每个分量非负且总和为一。
学习目标
- 解释 Softmax 为什么能生成合法概率向量
- 掌握减去最大值的稳定计算方法
- 理解温度参数与多分类适用边界
从实数向量到概率向量
给定 维有限实数向量 ,Softmax 定义为:
指数函数始终为正,因此 。所有分量相加时,分子之和与分母相同:
在实数精确计算中,Softmax 的输出位于概率单纯形的相对内部。给定每个分量都为正的概率向量 ,取 就能恢复它;任意常数加到所有 logits 上也得到同一向量。含零分量的概率只能在极限中得到。

可运行计算实例
下面用 Python 标准库实现带温度的 Softmax。先减最大值,再按温度缩放。若两个有限 logits 的差超出了浮点范围,代码对这两个项分别缩放后再相减,以保留大温度下本可表示的差。
import math
def softmax(values: list[float], temperature: float = 1.0) -> list[float]:
if not values or not all(math.isfinite(value) for value in values):
raise ValueError("logits 必须非空且有限")
if not math.isfinite(temperature) or temperature <= 0:
raise ValueError("温度必须为有限正数")
maximum = max(values)
exponentials = []
for value in values:
delta = value - maximum
if math.isfinite(delta):
scaled = delta / temperature
else:
scaled = value / temperature - maximum / temperature
exponentials.append(math.exp(scaled))
total = math.fsum(exponentials)
return [value / total for value in exponentials]
for logits, temperature in (
([2.0, 1.0, 0.1], 1.0),
([1000.0, 1000.0, 0.0], 0.01),
([-1e308, 1e308], 1e308),
):
probabilities = softmax(logits, temperature)
assert math.isclose(math.fsum(probabilities), 1.0)
print([round(value, 4) for value in probabilities])预期输出如下。
[0.659, 0.2424, 0.0986]
[0.5, 0.5, 0.0]
[0.1192, 0.8808]第二组中第三个指数项在浮点计算中下溢为零。第三组中两个 logits 的原始差超出浮点范围,但分别除以温度再相减后,保留了大小为 的有效差。
为什么要减去最大值
Softmax 具有平移不变性。对任意常数 :
因此可令 。变换后最大的指数输入为 ,对应 ,其余输入都不大于 。结果保持不变,却避免直接计算 一类可能溢出的数值。
计算交叉熵时可把 logits 和标签传给 cross_entropy,或先通过 log_softmax 得到对数概率,再按标签计算损失。若先求概率再取对数,原本非零的目标类概率可能已因浮点下溢而变成零。
温度参数控制分布形状
带温度的 Softmax 为:
与 相比, 会放大非零差异, 会压缩差异。 时,若最大值唯一,概率趋向该类别的独热向量;若有 个并列最大值,极限在这 个位置上各分配 ,其余位置为零。 时,所有类别的概率趋向 。
温度不会破坏非负和归一化约束,只改变概率集中程度。知识蒸馏常用较高温度呈现类别间关系,生成模型采样则用温度调节确定性与多样性。
适用边界
Softmax 只保证输出形式是概率分布,不保证概率已经良好校准。模型仍可能对错误类别给出很高概率,概率质量取决于训练数据、损失函数和泛化能力。
Softmax 会让所有分量相互竞争:一项概率升高,其他项总和必然下降。它适合类别互斥的多分类问题;若多个标签可以同时成立,通常应对每个标签独立使用 Sigmoid。