高等数学 / 系统课时

指数函数与对数函数

指数函数与对数函数

指数函数擅长描述成倍增长,对数函数擅长把乘法关系压缩成加法关系。掌握二者的互逆性质后,可以更自然地理解概率、Softmax、交叉熵,以及大数指数运算中的数值稳定处理。

学习目标

  • 掌握指数函数、对数函数的定义域、单调性和互逆关系
  • 理解 Softmax 与交叉熵中指数、对数各自承担的作用
  • 能使用减去最大值和 LogSumExp 技巧避免数值溢出

指数与对数在解决什么问题

指数函数的一般形式是 y=axy=a^x,其中 a>0a>0 且 a≠1a\ne 1。当 a>1a>1 时,函数随 xx 增大而快速增长;当 0<a<10<a<1 时,函数随 xx 增大而衰减。它适合表示复利、概率权重、衰减系数和连续增长过程。

对数函数 y=log⁡axy=\log_a x 是指数函数的反函数,只对 x>0x>0 有定义。它求的是满足 ay=xa^y=x 的实数指数 yy。对数能把乘法变成加法,因此长概率乘积通常会改写成对数和,既便于推导,也更适合计算机处理。

指数函数、对数函数与数值稳定关系图

互逆关系与常用运算规则

当 a>0a>0 且 a≠1a\ne1 时,alog⁡ax=xa^{\log_a x}=x 对 x>0x>0 成立,而 log⁡a(ax)=x\log_a(a^x)=x 对所有实数 xx 成立。在实际计算中,最常用的是自然指数 exe^x 和自然对数 ln⁡x\ln x。它们的导数仍保持简洁:(ex)′=ex(e^x)'=e^x,(ln⁡x)′=1/x(\ln x)'=1/x,因此在优化和概率模型中非常常见。

对数的三条核心规则是:

  • log⁡a(xy)=log⁡ax+log⁡ay\log_a(xy)=\log_a x+\log_a y
  • log⁡a(x/y)=log⁡ax−log⁡ay\log_a(x/y)=\log_a x-\log_a y
  • log⁡a(xr)=rlog⁡ax\log_a(x^r)=r\log_a x

这些规则要求参与对数运算的真数为正。尤其不能把 log⁡(x+y)\log(x+y) 拆成 log⁡x+log⁡y\log x+\log y,这是常见误用。

Softmax 与交叉熵中的分工

设模型输出 logits 为 z1,…,znz_1,\ldots,z_n,Softmax 将任意实数转换为概率:

pi=ezi∑j=1nezjp_i=\frac{e^{z_i}}{\sum_{j=1}^{n}e^{z_j}}

指数严格递增,因此较大的 logit 分配到较大的概率。对有限实数 logits,精确算术中的概率均为正且总和为 1。若真实类别为 kk,单样本交叉熵为 L=−ln⁡pkL=-\ln p_k。对数会强烈惩罚模型对真实类别给出的极小概率,而高概率对应较小损失。

数值稳定:先平移再计算

直接计算 e1000e^{1000} 会溢出,但 Softmax 对所有 logits 同时减去同一个常数后结果不变。通常取 m=max⁡izim=\max_i z_i,将指数改写为 ezi−me^{z_i-m}。此时最大的指数为 1,其余值不超过 1。

减去最大值能防止指数上溢,但很小的概率仍可能下溢为零。把 uj=zj−mu_j=z_j-m 代入 −ln⁡pk-\ln p_k 后,可直接计算 L=ln⁡∑jeuj−ukL=\ln\sum_j e^{u_j}-u_k。这样即使浮点 Softmax 把目标概率存为零,损失也无需对零取对数。平移后再做减法还避免先加回很大的 mm、再减去 zkz_k 时丢失小的差值。

下例使用 Python 标准库,输入是非空的有限实数列表和有效的类别下标。

python
import math


def softmax_and_loss(logits, target_index):
    maximum = max(logits)
    shifted = [value - maximum for value in logits]
    weights = [math.exp(value) for value in shifted]
    normalizer = math.fsum(weights)
    probabilities = [weight / normalizer for weight in weights]
    loss = math.log(normalizer) - shifted[target_index]
    return probabilities, loss


for logits, target in (
    ([1000.0, 1001.0, 999.0], 1),
    ([1000.0, 0.0], 1),
    ([1e16, 1e16], 0),
):
    probabilities, loss = softmax_and_loss(logits, target)
    print([round(value, 6) for value in probabilities], round(loss, 6))

预期输出如下。

text
[0.244728, 0.665241, 0.090031] 0.407606
[1.0, 0.0] 1000.0
[0.5, 0.5] 0.693147

第二组输入中目标类概率下溢为 00,损失仍为约 10001000。第三组展示两个相等的 logits 共享一个很大的偏移量,交叉熵仍为 ln⁡2\ln 2。框架自带的交叉熵通常直接接收 logits,训练时可用框架实现。

若只需要计算 ln⁡∑jezj\ln\sum_j e^{z_j},可使用 LogSumExp:

LSE⁡(z)=m+ln⁡∑jezj−m\operatorname{LSE}(z)=m+\ln\sum_j e^{z_j-m}

它与稳定 Softmax 使用同一思想,是概率模型和深度学习框架中的基础数值技巧。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

指数函数与对数函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通