机器学习与深度学习 / 系统课时

LSTM 与 GRU

LSTM 与 GRU

基础 RNN 在长序列中很难稳定保留早期信息。LSTM 和 GRU 通过门控机制控制信息的写入、保留与删除,从而改善长期依赖学习,并成为序列建模中更常用的循环层。

学习目标

  • 理解门控结构缓解长期依赖问题的原因
  • 区分 LSTM 与 GRU 的状态、门和输出形式
  • 能在 PyTorch 中选择并调用对应循环层

为什么需要门控结构

基础 RNN 每个时间步都会整体重写隐藏状态。反向传播跨越很多时间步后,梯度可能连续缩小或放大,使较早输入难以影响最终结果。

门控网络使用取值在 0 到 1 之间的门控制信息比例。接近 0 表示阻断,接近 1 表示保留。模型因此不必在每一步彻底覆盖状态,而能学习“哪些信息继续传递,哪些信息立即遗忘”。

LSTM 与 GRU 的内部差异

LSTM 维护隐藏状态 hth_t 和细胞状态 ctc_t。遗忘门决定旧细胞状态保留多少,输入门决定写入多少候选信息,输出门决定当前暴露多少状态。细胞状态提供了一条相对直接的信息通道。

GRU 把长期状态与隐藏状态合并,只维护 hth_t。更新门控制旧状态与新候选状态的混合比例,重置门控制计算候选状态时参考多少历史信息,因此结构更紧凑。

LSTM 与 GRU 门控结构对比图

对比项 LSTM GRU
状态 隐藏状态与细胞状态 仅隐藏状态
门数量 遗忘门、输入门、输出门 更新门、重置门
参数量 通常更多 通常更少
常见取舍 表达能力强,适合复杂长期依赖 训练和推理更轻量

两者没有绝对优劣。数据量、序列长度、延迟要求和验证集表现,通常比理论上的结构差异更能决定最终选择。

在 PyTorch 中比较两种循环层

下面使用相同输入维度和隐藏维度分别创建 LSTM 与 GRU,并检查输出形状和参数量。

python
import torch
from torch import nn

torch.manual_seed(7)

batch_size = 4
sequence_length = 6
input_size = 8
hidden_size = 16

x = torch.randn(batch_size, sequence_length, input_size)

# 使用相同输入与隐藏维度,确保参数量比较公平
lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
gru = nn.GRU(input_size, hidden_size, batch_first=True)

# LSTM 返回隐藏状态和细胞状态,GRU 只返回隐藏状态
lstm_output, (lstm_h, lstm_c) = lstm(x)
gru_output, gru_h = gru(x)

count_parameters = lambda model: sum(
    parameter.numel() for parameter in model.parameters()
)

print("LSTM output:", lstm_output.shape)
print("LSTM h:", lstm_h.shape)
print("LSTM c:", lstm_c.shape)
print("GRU output:", gru_output.shape)
print("GRU h:", gru_h.shape)
print("LSTM params:", count_parameters(lstm))
print("GRU params:", count_parameters(gru))

预期输出:

text
LSTM output: torch.Size([4, 6, 16])
LSTM h: torch.Size([1, 4, 16])
LSTM c: torch.Size([1, 4, 16])
GRU output: torch.Size([4, 6, 16])
GRU h: torch.Size([1, 4, 16])
LSTM params: 1664
GRU params: 1248

两种网络的逐时间步输出形状相同。区别在于 LSTM 返回 (h, c) 两个最终状态,GRU 只返回 h。在相同维度下,GRU 的门更少,因此本例参数量也更少。

如何做实际选择

优先从 GRU 开始,适合快速建立基线、数据量有限或对延迟较敏感的任务。若验证结果显示模型难以捕获较长依赖,再尝试 LSTM,并保持数据划分、隐藏维度和训练设置一致,避免不公平比较。

选择双向结构时,模型会同时读取正序和逆序信息,适合整段序列已完整可见的分类与标注任务。流式预测、在线生成等场景不能使用未来信息,应采用单向网络。

无论使用哪种结构,都要正确处理填充长度、隐藏状态边界和梯度裁剪。门控结构能缓解长期依赖问题,但不能自动修复错误的数据组织或训练流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

LSTM 与 GRU

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通