机器学习与深度学习 / 系统课时

理解激活函数如何增加表达力

理解激活函数如何增加表达力

连续堆叠卷积层看起来已经很深,但如果层与层之间只有线性或仿射运算,再多层也能合并成一次同类运算。ReLU 的作用就是在这些变换之间加入非线性,让网络能够根据输入所在区域采用不同响应规则,从而表示更复杂的图像模式。

学习目标

  • 理解没有激活函数时多层网络为何仍等价于单层仿射变换
  • 理解 ReLU 的分段线性机制如何引入非线性
  • 判断 ReLU 带来的表达能力以及需要注意的边界

没有激活函数时深度会失去意义

先看两个连续的仿射变换。第一层输出为:

z1=W1x+b1z_1=W_1x+b_1

第二层继续计算:

z2=W2z1+b2z_2=W_2z_1+b_2

把第一式代入第二式:

z2=W2(W1x+b1)+b2=(W2W1)x+(W2b1+b2)z_2=W_2(W_1x+b_1)+b_2=(W_2W_1)x+(W_2b_1+b_2)

令 W′=W2W1W'=W_2W_1、b′=W2b1+b2b'=W_2b_1+b_2,就得到 z2=W′x+b′z_2=W'x+b'。也就是说,两层仿射变换仍然可以压缩成一层。继续堆叠十层、几十层,只要中间没有非线性,这个结论仍然成立。

卷积本身同样属于线性运算,加入 Bias 后属于仿射变换。因此“卷积接卷积接卷积”并不会自动获得复杂的非线性表达能力。

ReLU 在零点把规则分成两段

ReLU 定义非常简单:

ReLU⁡(z)=max⁡(0,z)\operatorname{ReLU}(z)=\max(0,z)

当输入为正时,它原样保留;当输入为负时,它输出 0。因此同一个神经元会根据输入符号进入两种不同状态。

输入 zz -2 -1 0 1 2
线性输出 zz -2 -1 0 1 2
ReLU 输出 0 0 0 1 2

ReLU 的每一段本身都是线性的,但整个函数不是单一线性函数,所以它被称为分段线性非线性函数。

ReLU 打破多层线性运算的等价关系

非线性让不同特征可以条件式组合

加入 ReLU 后,两层网络变成:

y=W2ReLU⁡(W1x+b1)+b2y=W_2\operatorname{ReLU}(W_1x+b_1)+b_2

此时已经不能简单把 W2W_2 与 W1W_1 合并。原因是 ReLU 会根据 W1x+b1W_1x+b_1 的符号决定哪些中间特征保留、哪些被置零,而这个决定会随输入改变。

放到 CNN 中,可以把一个中间通道理解为某种局部特征响应。某位置没有触发对应模式时,ReLU 可以把负响应截断为 0;触发后则把正响应继续传递。下一层于是可以基于“哪些特征当前被激活”重新组合信息。

随着网络变深,大量 ReLU 会把输入空间划分成许多区域。网络在每个区域内部仍执行线性或仿射计算,但不同区域能够使用不同的有效计算路径。正是这种分段组合,使网络能够逼近比单一线性映射复杂得多的函数。

ReLU 为什么在 CNN 中常用

ReLU 的优势首先是计算简单,只需要判断正负;在正区间其梯度为 1,也不像 Sigmoid 那样在较大的正负输入处都容易进入梯度很小的饱和区。因此它长期以来是卷积网络中最常见的激活函数之一。

但 ReLU 也有边界:当某个单元长期落在负区间时,输出恒为 0,该区间的梯度也为 0,参数可能难以重新恢复有效响应。这通常被称为“死亡 ReLU”。合理的初始化、学习率以及 Leaky ReLU 等变体可以降低这种风险。

理解激活函数时最重要的不是记住“负数变零”,而是抓住结构上的变化:没有激活函数,多层卷积仍可折叠成一次仿射变换;插入 ReLU 后,不同输入区域能够走不同的分段线性规则,网络深度才真正转化为更强的表达能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解激活函数如何增加表达力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通