高等数学 / 系统课时

梯度消失

梯度消失

本课解释深层网络训练时“前层几乎不更新”的原因。你将把链式法则展开为局部导数连乘,观察梯度如何随深度快速衰减,并掌握定位与缓解梯度消失的实用方法。

学习目标

  • 用链式法则解释梯度逐层衰减的机制
  • 识别激活函数、初始化与网络深度带来的风险
  • 通过梯度范数和激活分布定位问题

梯度为何逐层变小

设网络逐层计算 hl=fl(hl−1)h_l=f_l(h_{l-1}),损失为 LL。若隐藏状态是标量,反向传播到第 kk 层时可连乘后续各层的局部导数。

∂L∂hk=∂L∂hn∏l=k+1n∂hl∂hl−1\frac{\partial L}{\partial h_k} = \frac{\partial L}{\partial h_n} \prod_{l=k+1}^{n} \frac{\partial h_l}{\partial h_{l-1}}

对向量状态,令 JlJ_l 为第 ll 层对输入的雅可比,梯度按列向量写时每步是 ∇hl−1L=JlT∇hlL\nabla_{h_{l-1}}L=J_l^\mathsf{T}\nabla_{h_l}L。若相关路径上每层的算子范数都不超过某个 q<1q<1,梯度范数至多按 qn−kq^{n-k} 衰减。这是充分条件;若某层有大于 11 的伸缩方向,实际回传梯度仍可能落在被压缩的方向。

深层网络中反向梯度逐层衰减示意图

这不是“梯度突然消失”,而是许多次乘法累积后的结果。只看最后一层梯度正常,并不能证明前面各层也能获得有效更新。

用数值观察连乘效应

下面用标量局部导数模拟反向传播。每层导数固定为 0.25,经过 12 层后,梯度已缩小到约 5.96×10−85.96\times10^{-8}。

python
def main() -> None:
    gradient = 1.0
    local_derivative = 0.25
    checkpoints = {1, 4, 8, 12}

    # 每经过一层,就乘一次局部导数,模拟反向传播。
    for layer in range(1, 13):
        gradient *= local_derivative
        if layer in checkpoints:
            print(f"经过 {layer:2d} 层: {gradient:.3e}")

if __name__ == "__main__":
    main()

预期输出:

text
经过  1 层: 2.500e-01
经过  4 层: 3.906e-03
经过  8 层: 1.526e-05
经过 12 层: 5.960e-08

例如每层的雅可比都是对角矩阵 diag⁡(2,0.1)\operatorname{diag}(2,0.1),沿第一坐标的梯度每层放大两倍,沿第二坐标的梯度每层缩小到十分之一。只看一个矩阵范数无法确定当前梯度的变化。

常见触发条件

sigmoid 和 tanh 在输入绝对值较大时进入饱和区,导数接近 0。网络越深,饱和导数连乘的影响越明显。循环神经网络还会沿时间步重复使用相似变换,因此长序列特别容易出现梯度消失。

权重初始化过小也会持续压缩信号。若前向激活很快集中到狭窄区间,反向梯度通常也会同步变弱。即使使用 ReLU,若大量神经元长期输出 0,仍可能出现局部无梯度,但这更准确地称为“死亡 ReLU”。

按层定位问题

排查时不要只观察总损失,应同时记录各层参数梯度的范数。若从输出层向输入层呈持续、数量级式下降,通常就是梯度消失。还应检查激活值是否大量落在 sigmoid、tanh 的饱和区,或集中为几乎相同的数。建议按以下顺序定位:

  1. 检查参数是否需要梯度、是否参与了损失,以及是否出现 detach 或转换为整数等断开梯度的操作。PyTorch 参数的 grad is None 与梯度张量全零应分别排查。
  2. 比较各层梯度范数,找出从哪一层开始明显衰减。
  3. 查看激活分布与权重分布,判断是否饱和或初始化尺度不合适。
  4. 缩短网络或时间展开长度做对照,验证问题是否随深度加重。

梯度恒为 0 不一定属于数值衰减,也可能是分支未参与损失、参数被冻结或计算图断开,因此必须先排除结构性原因。

缓解方法与边界

前馈网络可选择适合任务的激活与初始化,例如在 ReLU 网络中用 He 初始化。ReLU 的正区间不饱和,但负区间梯度为零;GELU 的负端也可接近饱和。残差连接为梯度提供更短路径,归一化层则有助于控制激活分布,这些方法通常需要组合使用。

循环任务可采用 LSTM、GRU 等门控结构提供较长的梯度路径。截断反向传播能限制每次传播长度,但也会切断超过截断窗口的梯度信号。梯度裁剪主要用于限制梯度爆炸,并不能把已经接近 0 的梯度放大,因此不是解决梯度消失的核心手段。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度消失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通