机器学习与深度学习 / 系统课时

选择激活函数

选择激活函数

激活函数决定线性变换后哪些信号被保留、压缩或截断。这里用同一组输入比较 ReLU、Sigmoid 与 Tanh 的输出和梯度,并给出隐藏层、二分类输出与有界回归中可直接采用的选择规则。

学习目标

  • 说清 ReLU、Sigmoid、Tanh 的输出范围与梯度特征
  • 用 PyTorch 实测三种激活函数的前向值和反向梯度
  • 根据隐藏层和输出层的任务语义选择合适的激活函数

先看三种函数改变了什么

线性层只做仿射变换;如果多个线性层之间没有非线性,整体仍可合并成一次线性变换。激活函数加入后,网络才可以表示弯折、饱和或截断一类非线性关系。对同一个标量输入,三种常见函数的行为可以直接这样比较:

激活函数 输出范围 输入很大或很小时 常见位置
nn.ReLU() [0,+∞)[0,+\infty) 正区间梯度保持,负区间输出为 0 MLP、CNN 隐藏层的常用默认选择
nn.Sigmoid() (0,1)(0,1) 两端逐渐饱和,梯度接近 0 需要独立 0~1 概率的输出
nn.Tanh() (−1,1)(-1,1) 两端逐渐饱和,输出以 0 为中心 需要有符号且有界的中间量或输出

ReLU 的计算可理解为 y=max⁡(0,x)y=\max(0,x)。例如输入 [-2, 0, 3] 时输出 [0, 0, 3];Sigmoid 会把任意实数压到 0~1;Tanh 则压到 -1~1。

ReLU、Sigmoid 与 Tanh 的输出和梯度差异

用同一组输入检查输出和梯度

下面的程序给每种激活函数传入 [-4,-1,0,1,4],把所有输出求和后执行 backward()。因为求和对每个元素的上游梯度都是 1,所以打印出的 x.grad 就能直接观察局部梯度大小。

python
import torch
from torch import nn

values = torch.tensor([-4.0, -1.0, 0.0, 1.0, 4.0])
activations = {
    "ReLU": nn.ReLU(),
    "Sigmoid": nn.Sigmoid(),
    "Tanh": nn.Tanh(),
}

for name, activation in activations.items():
    x = values.clone().requires_grad_(True)
    y = activation(x)
    y.sum().backward()

    output = [round(v, 4) for v in y.detach().tolist()]
    gradient = [round(v, 4) for v in x.grad.tolist()]
    print(f"{name:7} output={output}")
    print(f"{name:7} grad  ={gradient}")

预期输出

text
ReLU    output=[0.0, 0.0, 0.0, 1.0, 4.0]
ReLU    grad  =[0.0, 0.0, 0.0, 1.0, 1.0]
Sigmoid output=[0.018, 0.2689, 0.5, 0.7311, 0.982]
Sigmoid grad  =[0.0177, 0.1966, 0.25, 0.1966, 0.0177]
Tanh    output=[-0.9993, -0.7616, 0.0, 0.7616, 0.9993]
Tanh    grad  =[0.0013, 0.42, 1.0, 0.42, 0.0013]

这个结果解释了训练时的主要差异:Sigmoid 和 Tanh 在 |x| 较大时容易进入饱和区,梯度变小;ReLU 在正区间不会出现这种饱和,但长期落在负区间的单元会持续输出 0。

按层的职责选择

隐藏层没有特殊约束时,可以先用 nn.ReLU() 作为基线,再根据验证集结果考虑 GELU、SiLU 等替代方案。不要因为“Sigmoid 能输出概率”就把它放进所有隐藏层:深层网络中反复经过 Sigmoid,更容易让梯度在饱和区缩小。

二分类训练如果使用 nn.BCEWithLogitsLoss(),模型最后一层应直接输出 logits,不要额外接 nn.Sigmoid();这个损失函数已经把 Sigmoid 与二元交叉熵合并以提高数值稳定性。推理时如果需要 0~1 概率,再对 logits 调用 torch.sigmoid(logits)。

当目标本身是有符号且范围固定时,Tanh 很合适。例如要预测归一化到 [-1,1] 的转向量,可以让最后一层使用 nn.Tanh();若真实目标没有这个范围限制,则不要用 Tanh 强行截住输出。

避免两种常见错配

多分类任务配 nn.CrossEntropyLoss() 时,最后一层同样应输出原始 logits,不要先手动做 Sigmoid。若只是想得到类别概率,可在推理阶段对类别维调用 torch.softmax(logits, dim=1)。

另一个常见错误是把 ReLU 用在必须允许负值的输出上。比如回归目标可能是 -3.2,最后一层若接 ReLU,模型永远无法给出负预测;这种场景通常保留最后一个 nn.Linear 的原始输出,只在隐藏层使用 ReLU。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择激活函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通