机器学习与深度学习 / 系统课时

激活函数的作用

激活函数的作用

本课解决一个关键问题:为什么神经网络不能只不断叠加线性层。你将通过公式、函数曲线和选型规则,理解 Sigmoid、Tanh、ReLU、GELU 如何改变信号与梯度,并能根据隐藏层或输出层的任务选择合适函数。

学习目标

  • 解释激活函数为神经网络引入非线性的原因
  • 比较 Sigmoid、Tanh、ReLU、GELU 的输出范围与梯度特性
  • 根据具体网络位置选择合适的激活函数

为什么线性层之间需要激活函数

假设两层网络都只做线性变换:

h=W1x+b1h=W_1x+b_1
y=W2h+b2y=W_2h+b_2

代入后可得 y=(W2W1)x+(W2b1+b2)y=(W_2W_1)x+(W_2b_1+b_2),结果仍是一次线性变换。无论堆叠多少层,只要中间没有非线性激活,整个网络都无法表示弯曲的分类边界或更复杂的输入输出关系。

激活函数会对每个神经元的线性结果进行非线性变换,使不同层能够逐步组合出更复杂的特征。它不仅改变输出范围,也会直接影响梯度传播速度、训练稳定性和计算成本。

四种常见激活函数

常见激活函数曲线对比

函数 主要特性 优点 局限
Sigmoid 输出范围为 (0,1)(0,1) 可解释为概率,适合二分类输出层 大正值或大负值区域梯度接近 0
Tanh 输出范围为 (−1,1)(-1,1),以 0 为中心 比 Sigmoid 更利于表示正负信号 仍存在饱和与梯度变小问题
ReLU x>0x>0 时输出 xx,否则输出 0 计算简单,正区间梯度稳定 负区间梯度为 0,可能出现“死亡神经元”
GELU 按输入大小进行平滑门控 曲线平滑,常用于 Transformer 计算比 ReLU 更复杂

Sigmoid 和 Tanh 都会在输入绝对值较大时进入饱和区,此时输出变化很小,反向传播的梯度也会变弱。ReLU 避免了正区间饱和,因此长期以来是隐藏层的常用默认选择。GELU 不会像 ReLU 那样直接截断所有负值,而是平滑地保留一部分负输入。

激活函数怎样影响训练

训练神经网络时,参数更新依赖梯度。如果激活函数在大量输入区域的导数接近 0,梯度经过多层传播后可能越来越小,前面层的参数就难以有效更新,这就是梯度消失的一种来源。

ReLU 在正区间的导数为 1,有利于深层网络传播梯度,但如果某个神经元长期落在负区间,它的输出和梯度都可能持续为 0。GELU 的平滑过渡减少了这种突然截断,更适合对训练稳定性要求较高的大型模型。

如何选择激活函数

隐藏层没有统一的绝对最佳答案。普通多层感知机或卷积网络通常先尝试 ReLU;Transformer 结构常见 GELU;当中间状态需要被限制在正负有限范围时,可考虑 Tanh。

输出层应由任务决定。二分类通常使用 Sigmoid,把一个数映射为正类概率;互斥的多分类通常使用 Softmax;回归任务若目标值没有固定范围,输出层往往不加激活函数。选型时必须区分“隐藏层特征变换”和“输出层结果约束”这两个目的。

常见误区

  • 激活函数不是越复杂越好,计算成本和梯度性质同样重要
  • ReLU 输出不受上界限制,不适合直接表示概率
  • Sigmoid 适合二分类输出层,但通常不是深层隐藏层的首选

本课总结

  • 没有非线性激活,多层线性网络仍等价于单层线性模型
  • Sigmoid、Tanh、ReLU、GELU 的核心差异在输出范围、梯度和计算方式
  • 隐藏层关注特征学习与梯度传播,输出层应匹配具体任务

下一课预告

下一课将把多个神经元组织成输入层、隐藏层和输出层,完整走一遍多层神经网络的前向传播过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

激活函数的作用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通