机器学习与深度学习 / 系统课时

理解循环神经网络

理解循环神经网络

循环神经网络处理序列时,会把上一步得到的隐藏状态继续传给下一步,因此当前位置既能看到当前输入,也能携带前文信息。下面用一个可计算的状态传递例子和 Keras SimpleRNN,把“历史信息如何向后流动”落到具体张量上。

学习目标

  • 解释隐藏状态如何沿时间步传递,并区分输入、序列输出与最终状态。
  • 用 SimpleRNN 构造一个可验证的状态累加例子。
  • 根据 return_sequences 与 return_state 选择正确的输出形式。

状态如何带着历史向后传

先把循环单元看成一个重复使用的函数。时间步 1 接收 x1 和初始状态 h0,产生 h1;时间步 2 再接收 x2 与 h1。同一组权重在每个时间步复用,所以序列越往后,状态中累积的历史越多。

循环神经网络展开后隐藏状态沿时间步传递

用最简单的线性递推可以直接算清楚。设初始状态为 0,每一步都把当前输入与上一状态相加。输入依次为 1、2、3 时,状态就是 1、3、6。真实 RNN 会再乘权重并经过激活函数,但历史传递方式一致。

python
import tensorflow as tf

rnn = tf.keras.layers.SimpleRNN(
    units=1,
    activation="linear",
    use_bias=False,
    return_sequences=True,
)

x = tf.constant([[[1.0], [2.0], [3.0]]])

# 先调用一次完成建层,再把输入权重和循环权重都固定为 1。
_ = rnn(x)
rnn.set_weights([
    tf.constant([[1.0]]).numpy(),
    tf.constant([[1.0]]).numpy(),
])

y = rnn(x)
print(y.numpy().reshape(-1).tolist())
print(y.shape)

预期输出

text
[1.0, 3.0, 6.0]
(1, 3, 1)

这里的批次大小是 1、时间步是 3、特征数是 1,所以输入形状为 (1, 3, 1)。return_sequences=True 保留每个时间步的状态,因此输出仍有 3 个时间步;如果改为 False,只返回最后一步的状态 6。

在 Keras 中读懂输入与输出

SimpleRNN 默认接收三维张量 (batch, timesteps, features)。例如 32 条样本、每条 20 个 token、每个 token 是 64 维向量时,输入形状就是 (32, 20, 64);若 units=128,隐藏状态最后一维就是 128。

配置 输出形状示例 适合场景
return_sequences=False (32, 128) 整条序列只做一次分类或回归
return_sequences=True (32, 20, 128) 后面还要接另一个循环层或逐时间步预测
return_state=True 额外返回 (32, 128) 最终状态 需要把最终状态传给别的模块

做文本分类时,常见结构是 Embedding 接 SimpleRNN,再接 Dense,此时通常只需要最后状态。若要堆叠两层 RNN,前一层必须设置 return_sequences=True,否则第二层收不到完整时间维度。

识别普通 RNN 的能力边界

普通 RNN 能处理顺序依赖,但长序列中的早期信息需要经过很多次状态更新。比如长度从 20 增长到 300 时,第一步信息要跨越 299 次递推才能影响最后输出,训练中的梯度可能逐步变小或变大,这就是长期依赖难点。

可先用一个明确规则判断:任务主要依赖相邻几步或短窗口时,SimpleRNN 可以作为轻量基线;如果模型必须记住几十到上百步之前的信息,应优先试 LSTM 或 GRU,并用验证集比较,而不是仅凭训练准确率判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解循环神经网络

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通