机器学习与深度学习 / 系统课时

循环神经网络原理

循环神经网络原理

循环神经网络通过隐藏状态把前面时间步的信息带到当前时间步,使模型能够处理文本、语音和时间序列中的顺序关系。本课将拆开一次状态更新,并用 PyTorch 验证输出序列与最终隐藏状态的对应关系。

学习目标

  • 理解输入、隐藏状态与输出在时间步之间的传递方式
  • 说明参数共享为什么让 RNN 能处理不同长度的序列
  • 使用 PyTorch 检查 RNN 的张量形状和最终状态

隐藏状态解决什么问题

普通前馈网络把每个输入独立处理,无法直接知道“当前元素之前发生了什么”。RNN 为每个时间步维护隐藏状态 hth_t,它由当前输入 xtx_t 和上一状态 ht−1h_{t-1} 共同决定,因此能把历史信息压缩后继续向后传递。

RNN 在时间轴上的展开结构

时间步如何计算

在最基本的 RNN 中,当前隐藏状态可理解为“当前输入经过线性变换”与“上一隐藏状态经过线性变换”相加后,再通过非线性激活函数。所有时间步复用同一组权重,因此模型参数量不会随着序列长度增加。

状态传递并不等于完整保存历史。固定长度的隐藏向量必须不断压缩信息,较早内容可能逐渐被覆盖;反向传播穿过很多时间步时,还可能出现梯度消失或梯度爆炸。

用 PyTorch 验证状态传递

下面的程序创建单层 RNN。输入形状采用“批次、时间步、特征数”,并验证输出序列最后一个时间步与最终隐藏状态一致。

python
import torch
from torch import nn

torch.manual_seed(7)

batch_size = 2
sequence_length = 5
input_size = 3
hidden_size = 4

rnn = nn.RNN(
    input_size=input_size,
    hidden_size=hidden_size,
    num_layers=1,
    batch_first=True,
)

inputs = torch.randn(batch_size, sequence_length, input_size)
outputs, final_hidden = rnn(inputs)

print("outputs:", tuple(outputs.shape))
print("final_hidden:", tuple(final_hidden.shape))
print("last_step_matches:", torch.allclose(outputs[:, -1, :], final_hidden[0]))

预期输出:

text
outputs: (2, 5, 4)
final_hidden: (1, 2, 4)
last_step_matches: True

outputs 保留每个时间步的隐藏表示,适合逐步预测;final_hidden 只保留每一层的最终状态,适合把整段序列压缩成一个表示。实际张量数值会随参数和输入变化,但形状关系保持不变。

易混淆点

  • batch_first=True 只改变输入和输出的维度顺序,不改变隐藏状态的顺序
  • 多层 RNN 的最终隐藏状态第一维是层数,双向 RNN 还会乘以方向数
  • RNN 能接收变长序列,但批量训练通常仍需填充并记录真实长度

本课总结

  • RNN 用隐藏状态把历史信息传递到当前时间步
  • 各时间步共享参数,因此可以处理不同长度的序列
  • 基础 RNN 对长期依赖不稳定,长序列中容易遗忘早期信息

下一课预告

下一课将引入 LSTM 与 GRU,观察门控结构如何控制信息的保留、写入与遗忘,从而改善长期依赖问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

循环神经网络原理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通