机器学习与深度学习 / 系统课时
理解循环神经网络
理解循环神经网络
循环神经网络处理序列时,会把上一步得到的隐藏状态继续传给下一步,因此当前位置既能看到当前输入,也能携带前文信息。下面用一个可计算的状态传递例子和 Keras SimpleRNN,把“历史信息如何向后流动”落到具体张量上。
学习目标
- 解释隐藏状态如何沿时间步传递,并区分输入、序列输出与最终状态。
- 用
SimpleRNN构造一个可验证的状态累加例子。 - 根据
return_sequences与return_state选择正确的输出形式。
状态如何带着历史向后传
先把循环单元看成一个重复使用的函数。时间步 1 接收 x1 和初始状态 h0,产生 h1;时间步 2 再接收 x2 与 h1。同一组权重在每个时间步复用,所以序列越往后,状态中累积的历史越多。

用最简单的线性递推可以直接算清楚。设初始状态为 0,每一步都把当前输入与上一状态相加。输入依次为 1、2、3 时,状态就是 1、3、6。真实 RNN 会再乘权重并经过激活函数,但历史传递方式一致。
import tensorflow as tf
rnn = tf.keras.layers.SimpleRNN(
units=1,
activation="linear",
use_bias=False,
return_sequences=True,
)
x = tf.constant([[[1.0], [2.0], [3.0]]])
# 先调用一次完成建层,再把输入权重和循环权重都固定为 1。
_ = rnn(x)
rnn.set_weights([
tf.constant([[1.0]]).numpy(),
tf.constant([[1.0]]).numpy(),
])
y = rnn(x)
print(y.numpy().reshape(-1).tolist())
print(y.shape)预期输出
[1.0, 3.0, 6.0]
(1, 3, 1)这里的批次大小是 1、时间步是 3、特征数是 1,所以输入形状为 (1, 3, 1)。return_sequences=True 保留每个时间步的状态,因此输出仍有 3 个时间步;如果改为 False,只返回最后一步的状态 6。
在 Keras 中读懂输入与输出
SimpleRNN 默认接收三维张量 (batch, timesteps, features)。例如 32 条样本、每条 20 个 token、每个 token 是 64 维向量时,输入形状就是 (32, 20, 64);若 units=128,隐藏状态最后一维就是 128。
| 配置 | 输出形状示例 | 适合场景 |
|---|---|---|
return_sequences=False |
(32, 128) |
整条序列只做一次分类或回归 |
return_sequences=True |
(32, 20, 128) |
后面还要接另一个循环层或逐时间步预测 |
return_state=True |
额外返回 (32, 128) 最终状态 |
需要把最终状态传给别的模块 |
做文本分类时,常见结构是 Embedding 接 SimpleRNN,再接 Dense,此时通常只需要最后状态。若要堆叠两层 RNN,前一层必须设置 return_sequences=True,否则第二层收不到完整时间维度。
识别普通 RNN 的能力边界
普通 RNN 能处理顺序依赖,但长序列中的早期信息需要经过很多次状态更新。比如长度从 20 增长到 300 时,第一步信息要跨越 299 次递推才能影响最后输出,训练中的梯度可能逐步变小或变大,这就是长期依赖难点。
可先用一个明确规则判断:任务主要依赖相邻几步或短窗口时,SimpleRNN 可以作为轻量基线;如果模型必须记住几十到上百步之前的信息,应优先试 LSTM 或 GRU,并用验证集比较,而不是仅凭训练准确率判断。