机器学习与深度学习 / 系统课时
循环神经网络原理
循环神经网络原理
循环神经网络通过隐藏状态把前面时间步的信息带到当前时间步,使模型能够处理文本、语音和时间序列中的顺序关系。本课将拆开一次状态更新,并用 PyTorch 验证输出序列与最终隐藏状态的对应关系。
学习目标
- 理解输入、隐藏状态与输出在时间步之间的传递方式
- 说明参数共享为什么让 RNN 能处理不同长度的序列
- 使用 PyTorch 检查 RNN 的张量形状和最终状态
隐藏状态解决什么问题
普通前馈网络把每个输入独立处理,无法直接知道“当前元素之前发生了什么”。RNN 为每个时间步维护隐藏状态 ,它由当前输入 和上一状态 共同决定,因此能把历史信息压缩后继续向后传递。

时间步如何计算
在最基本的 RNN 中,当前隐藏状态可理解为“当前输入经过线性变换”与“上一隐藏状态经过线性变换”相加后,再通过非线性激活函数。所有时间步复用同一组权重,因此模型参数量不会随着序列长度增加。
状态传递并不等于完整保存历史。固定长度的隐藏向量必须不断压缩信息,较早内容可能逐渐被覆盖;反向传播穿过很多时间步时,还可能出现梯度消失或梯度爆炸。
用 PyTorch 验证状态传递
下面的程序创建单层 RNN。输入形状采用“批次、时间步、特征数”,并验证输出序列最后一个时间步与最终隐藏状态一致。
python
import torch
from torch import nn
torch.manual_seed(7)
batch_size = 2
sequence_length = 5
input_size = 3
hidden_size = 4
rnn = nn.RNN(
input_size=input_size,
hidden_size=hidden_size,
num_layers=1,
batch_first=True,
)
inputs = torch.randn(batch_size, sequence_length, input_size)
outputs, final_hidden = rnn(inputs)
print("outputs:", tuple(outputs.shape))
print("final_hidden:", tuple(final_hidden.shape))
print("last_step_matches:", torch.allclose(outputs[:, -1, :], final_hidden[0]))预期输出:
text
outputs: (2, 5, 4)
final_hidden: (1, 2, 4)
last_step_matches: Trueoutputs 保留每个时间步的隐藏表示,适合逐步预测;final_hidden 只保留每一层的最终状态,适合把整段序列压缩成一个表示。实际张量数值会随参数和输入变化,但形状关系保持不变。
易混淆点
batch_first=True只改变输入和输出的维度顺序,不改变隐藏状态的顺序- 多层 RNN 的最终隐藏状态第一维是层数,双向 RNN 还会乘以方向数
- RNN 能接收变长序列,但批量训练通常仍需填充并记录真实长度
本课总结
- RNN 用隐藏状态把历史信息传递到当前时间步
- 各时间步共享参数,因此可以处理不同长度的序列
- 基础 RNN 对长期依赖不稳定,长序列中容易遗忘早期信息
下一课预告
下一课将引入 LSTM 与 GRU,观察门控结构如何控制信息的保留、写入与遗忘,从而改善长期依赖问题。
按自己的节奏,确认真正理解。