机器学习与深度学习 / 系统课时

激活函数

激活函数

激活函数决定神经元如何响应加权结果,并为网络引入非线性。本课将比较 ReLU、Sigmoid 和 Softmax 的输出范围、典型用途与常见误区,帮助你为隐藏层和输出层选择合适函数。

学习目标

  • 解释激活函数为何不可缺少
  • 区分 ReLU、Sigmoid 和 Softmax 的用途
  • 根据任务类型选择输出层激活函数

三种常用激活函数

ReLU:隐藏层的常用选择

ReLU 定义为 f(z)=max⁡(0,z)f(z)=\max(0,z)。当输入为负数时输出 0,输入为正数时保持不变。它在正半轴的导数为 1,在负半轴为 0,在 0 处数学上不可微,自动微分实现会约定一个返回值。它常用于隐藏层。

ReLU 的风险是某些神经元长期落在负区间后始终输出 0,形成“死亡 ReLU”。可通过合理初始化、调整学习率或改用 Leaky ReLU 缓解。

Sigmoid:把结果压缩为概率

Sigmoid 定义为:

σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}

它把有限实数映射到严格介于 0 与 1 的值,浮点极端输入可能舍入到端点。二分类可用一个 Sigmoid,多标签可对每个标签分数分别映射。输入绝对值很大时,曲线趋于平坦,梯度接近 0,因此通常不再作为深层隐藏层的首选。

Softmax:形成互斥类别分布

Softmax 在每个样本的类别轴上归一化分数,输出之和在数学上为 1。批量计算时应选类别轴,避免把不同样本混在同一个分母中:

pi=ezi∑jezjp_i=\frac{e^{z_i}}{\sum_j e^{z_j}}

它适用于“猫、狗、鸟三选一”这类互斥的单标签多分类。若一张图可同时包含“人物”和“户外”,可分别估计两个标签为真的概率,它们可以同时较高,合计也可以超过 1。共享隐藏表示能利用共同特征,逐标签输出本身不要求实际标签统计独立。

常见激活函数曲线对比

选择规则

场景 推荐函数 关键原因
深层网络隐藏层 ReLU 计算简单,正区间梯度直接
二分类输出层 Sigmoid 单个结果可解释为正类概率
多标签输出层 多个 Sigmoid 标签可同时成立,按标签输出各自估计
单标签多分类输出层 Softmax 概率总和为 1,类别互斥

用极端分数核对归一化

下例使用非空、有限的一条分数向量。Softmax 先减去该向量的最大值,归一化结果保持不变,但指数输入不会为正,避免大正数导致溢出。

python
from math import exp, fsum

def sigmoid(z):
    if z >= 0:
        return 1 / (1 + exp(-z))
    value = exp(z)
    return value / (1 + value)

def softmax(scores):
    pivot = max(scores)
    weights = [exp(score - pivot) for score in scores]
    total = fsum(weights)
    return [weight / total for weight in weights]

print("ReLU:", [max(0, z) for z in (-3, 0, 2)])
print("多标签:", [round(sigmoid(z), 3) for z in (2, 1)])
print("三选一:", [round(p, 3) for p in softmax([1000, 999, 998])])

三项 Softmax 约为 0.665、0.245、0.090。两个标签的 Sigmoid 约为 0.881、0.731,合计超过 1。PyTorch 的 CrossEntropyLoss 和 BCEWithLogitsLoss 都直接接收原始 logits。在调用这些接口前应保留 logits,展示预测时再做概率映射。下一课比较训练损失与最终准确率。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

激活函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通