高等数学 / 系统课时

Softmax约束实例

Softmax约束实例

Softmax解决的是如何把任意实数向量稳定地转换为合法概率分布。本课将从公式、约束证明、稳定实现和温度参数四个方面,说明它为何能保证每个分量非负且总和为一。

学习目标

  • 解释 Softmax 为什么能生成合法概率向量
  • 掌握减去最大值的稳定计算方法
  • 理解温度参数与多分类适用边界

从实数向量到概率向量

给定 K≥1K\ge1 维有限实数向量 z=(z1,…,zK)z=(z_1,\dots,z_K),Softmax 定义为:

pi=ezi∑j=1Kezjp_i=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}}

指数函数始终为正,因此 pi>0p_i>0。所有分量相加时,分子之和与分母相同:

∑i=1Kpi=1\sum_{i=1}^{K}p_i=1

在实数精确计算中,Softmax 的输出位于概率单纯形的相对内部。给定每个分量都为正的概率向量 pp,取 zi=ln⁡piz_i=\ln p_i 就能恢复它;任意常数加到所有 logits 上也得到同一向量。含零分量的概率只能在极限中得到。

Softmax映射到概率单纯形的流程图

可运行计算实例

下面用 Python 标准库实现带温度的 Softmax。先减最大值,再按温度缩放。若两个有限 logits 的差超出了浮点范围,代码对这两个项分别缩放后再相减,以保留大温度下本可表示的差。

python
import math


def softmax(values: list[float], temperature: float = 1.0) -> list[float]:
    if not values or not all(math.isfinite(value) for value in values):
        raise ValueError("logits 必须非空且有限")
    if not math.isfinite(temperature) or temperature <= 0:
        raise ValueError("温度必须为有限正数")

    maximum = max(values)
    exponentials = []
    for value in values:
        delta = value - maximum
        if math.isfinite(delta):
            scaled = delta / temperature
        else:
            scaled = value / temperature - maximum / temperature
        exponentials.append(math.exp(scaled))

    total = math.fsum(exponentials)
    return [value / total for value in exponentials]


for logits, temperature in (
    ([2.0, 1.0, 0.1], 1.0),
    ([1000.0, 1000.0, 0.0], 0.01),
    ([-1e308, 1e308], 1e308),
):
    probabilities = softmax(logits, temperature)
    assert math.isclose(math.fsum(probabilities), 1.0)
    print([round(value, 4) for value in probabilities])

预期输出如下。

text
[0.659, 0.2424, 0.0986]
[0.5, 0.5, 0.0]
[0.1192, 0.8808]

第二组中第三个指数项在浮点计算中下溢为零。第三组中两个 logits 的原始差超出浮点范围,但分别除以温度再相减后,保留了大小为 22 的有效差。

为什么要减去最大值

Softmax 具有平移不变性。对任意常数 cc:

ezi+c∑jezj+c=eceziec∑jezj=ezi∑jezj\frac{e^{z_i+c}}{\sum_j e^{z_j+c}} = \frac{e^c e^{z_i}}{e^c\sum_j e^{z_j}} = \frac{e^{z_i}}{\sum_j e^{z_j}}

因此可令 c=−max⁡(z)c=-\max(z)。变换后最大的指数输入为 00,对应 e0=1e^0=1,其余输入都不大于 00。结果保持不变,却避免直接计算 e1000e^{1000} 一类可能溢出的数值。

计算交叉熵时可把 logits 和标签传给 cross_entropy,或先通过 log_softmax 得到对数概率,再按标签计算损失。若先求概率再取对数,原本非零的目标类概率可能已因浮点下溢而变成零。

温度参数控制分布形状

带温度的 Softmax 为:

pi(T)=ezi/T∑jezj/T,T>0p_i(T)=\frac{e^{z_i/T}}{\sum_j e^{z_j/T}},\quad T>0

与 T=1T=1 相比,T<1T<1 会放大非零差异,T>1T>1 会压缩差异。T→0+T\to0^+ 时,若最大值唯一,概率趋向该类别的独热向量;若有 mm 个并列最大值,极限在这 mm 个位置上各分配 1/m1/m,其余位置为零。T→+∞T\to+\infty 时,所有类别的概率趋向 1/K1/K。

温度不会破坏非负和归一化约束,只改变概率集中程度。知识蒸馏常用较高温度呈现类别间关系,生成模型采样则用温度调节确定性与多样性。

适用边界

Softmax 只保证输出形式是概率分布,不保证概率已经良好校准。模型仍可能对错误类别给出很高概率,概率质量取决于训练数据、损失函数和泛化能力。

Softmax 会让所有分量相互竞争:一项概率升高,其他项总和必然下降。它适合类别互斥的多分类问题;若多个标签可以同时成立,通常应对每个标签独立使用 Sigmoid。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Softmax约束实例

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通