引言：三个模型，一场"选秀"

前面九章，从 RNN 的循环结构一路走到 LSTM 的三门四权重，再到 GRU 的两门精简版——RNN 家族的三个核心成员已经全部亮相。现在到了回答核心问题的时候：面对一个实际任务，到底选哪个？

打个比方：买车时，不会只看发动机参数，还要看油耗、保养费、操控感、后备箱空间。选模型也一样——不能只看"能不能记住长序列"，还得看"训练有多快"“占多少显存”“容不容易训练崩掉”。

这一章不做新推导，而是把 RNN、LSTM、GRU 放到同一个擂台上，用同一组数据、同一组超参数、同一个随机种子跑一遍，从五个维度做横向评测。跑完本章，对 IMDB 实战（第 14-16 章）该用什么模型，心里就有数了。

🎯 本章目标

1. 用同一组数据跑通 RNN / LSTM / GRU，记录真实的训练耗时和收敛速度；
2. 用不同间隔长度的序列测试三者的记忆上限，量化"门控"带来的收益；
3. 从梯度流结构角度解释为什么 LSTM/GRU 能缓解梯度消失；
4. 整理一张选型决策表，为后续 IMDB 实战选主力模型。

---

一、参数量：谁更"重"？

参数量直接决定显存占用和训练速度。先回顾三个模型的权重结构：

• RNN：仅 1 组权重 $W_{hh}$（形状 $H\times (H+I)$），负责隐藏状态的自回归；
• GRU：3 组权重——$W_z$（更新门）、$W_r$（重置门）、$W_h$（候选状态），每组 $H\times (H+I)$；
• LSTM：4 组权重——$W_f$（遗忘门）、$W_i$（输入门）、$W_c$（候选细胞状态）、$W_o$（输出门），每组 $H\times (H+I)$。

加上偏置，参数量公式：

$$N_{\text{RNN}}=H(H+I)+H=H(H+I+1)$$

$$N_{\text{GRU}}=3\times [H(H+I)+H]=3H(H+I+1)$$

$$N_{\text{LSTM}}=4\times [H(H+I)+H]=4H(H+I+1)$$

代码验证如下（NumPy 直接算）：

def count_params(H, I):
    base = H * (H + I) + H
    return {'RNN': base, 'GRU': 3 * base, 'LSTM': 4 * base}

# H=128, I=64 时
params = count_params(128, 64)
# 输出: {'RNN': 24704, 'GRU': 74112, 'LSTM': 98816}

不同规模下的参数对比：

配置 (H, I)	RNN	GRU	LSTM	GRU/LSTM
H=64, I=32	6,208	18,624	24,832	75.0%
H=128, I=64	24,704	74,112	98,816	75.0%
H=256, I=128	98,560	295,680	394,240	75.0%

关键结论：GRU 参数量始终是 LSTM 的 75%（3/4），是 RNN 的 3 倍。这个比例与 $H$、$I$ 无关，只取决于权重组数比 $3:4$。

生活类比——行李箱：RNN 是 20 寸登机箱（轻便但装不了多少），GRU 是 24 寸中号箱（够用且不超重），LSTM 是 28 寸大箱子（能装但托运贵）。出差三天选 GRU 刚好，搬家选 LSTM。

---

二、计算量：谁跑得更快？

参数量决定"存多少"，计算量决定"跑多快"。单步前向的矩阵乘法运算量（以 $H=128$、$I=64$ 为例）：

模型	单步矩阵乘法	近似 FLOPs	相对值
RNN	$1\times (H,H+I)\times (H+I)$	$\approx 2H(H+I)=49,152$	1.00×
GRU	$3\times (H,H+I)\times (H+I)$	$\approx 6H(H+I)=147,456$	3.00×
LSTM	$1\times (4H,H+I)\times (H+I)$	$\approx 8H(H+I)=196,608$	4.00×

注：FLOPs 估算公式为 $2\times M\times N\times K$（一次 $M\times N$ 与 $N\times K$ 的矩阵乘法含 $M\times N\times K$ 次乘加，计 2 FLOPs）。此处仅统计权重矩阵乘法，激活函数等开销未计入。

理论上的 3 倍和 4 倍差距，在实际训练中是否成立？用同一组序列复制数据（256 样本，序列长度 8，隐藏维度 24，训练 3000 轮，Adam 优化器）实测：

模型	训练耗时	相对速度（归一化）	最终 Loss	下降倍数
RNN	4.57s	1.00	0.0076	1510×
GRU	11.63s	0.39	0.1811	64×
LSTM	17.19s	0.27	0.1064	109×

实测速度比 RNN : GRU : LSTM ≈ 1.00 : 0.39 : 0.27（归一化，越大越快）。GRU 比 RNN 慢约 2.5 倍，LSTM 比 RNN 慢约 3.8 倍——与理论计算量比例（3.00× 和 4.00×）基本吻合，差额来自激活函数、逐元素乘法等额外开销。

注意：上述 Loss 数据来自 blank_len=5 的简单任务，三模型都能轻松学会。RNN 的 Loss 最低仅仅是因为它在这个简单任务上收敛最快——不代表它"更强"。到长序列任务中，RNN 的短板会立刻暴露（见第三节）。

生活类比——送外卖：RNN 是电动车（灵活快），GRU 是面包车（能装更多但油耗高一点），LSTM 是小货车（装得最多但跑得最慢）。只送一份盒饭（短序列），电动车最快；送一桌菜（长序列），面包车和小货车才靠谱。

---

三、记忆能力：谁记得更久？

这是 RNN 家族的"灵魂考题"。实验设计：序列复制任务——输入一串数字（如 [3, 7, 2]），经过若干空白步后，要求模型在指定位置输出同样的数字。空白步数（blank_len）越长，对记忆能力的要求越高。

$$X=[3,7,2,0,0,0,0,0]⟶Y=[0,0,0,0,0,3,7,2]$$

固定 seq_len=3、隐藏维度 H=24、训练 2000 轮，只改变 blank_len：

模型	blank_len=5	blank_len=10	blank_len=15
RNN	115.2× ✅	1.3× ❌	波动大 ⚠️
GRU	19.2× ✅	6.6× ✅	5.5× ✅
LSTM	136.6× ✅	9.9× ✅	5.7× ✅

表格中的"×"表示 Loss 相对于全零预测基线的下降倍数。全零基线 = $\frac{1}{N}\sum Y^2$（即什么也不学，直接输出 0 的 Loss）。倍数越大，学得越好。1.3× 意味着几乎没学到。

逐档分析：

• blank_len=5（间隔 5 步）：三模型都能学，RNN 甚至表现亮眼——短序列不是 RNN 的短板，$W_{hh}$ 连乘 5 次梯度还没消失。
• blank_len=10（间隔 10 步）：这是分水岭。RNN 的 Loss 下降倍数暴跌至 1.3×（几乎没学到），因为 $W_{hh}$ 连乘 10 次后，梯度范数呈指数衰减至接近零。GRU 和 LSTM 依然能学到 6.6× 和 9.9×——门控机制的"梯度高速公路"开始发挥作用。
• blank_len=15：GRU 和 LSTM 仍能学到一些，但下降倍数已明显降低（H=24 的隐藏维度太小，信息容量接近饱和）。
  
  为什么 RNN 在 10 步就崩了？ 从 BPTT 的梯度公式可以精确解释：

$$\frac{\partial \mathcal{L}}{\partial h_1}=\frac{\partial \mathcal{L}}{\partial h_T}\cdot \prod _{t=2}^T\frac{\partial h_t}{\partial h_{t-1}}=\frac{\partial \mathcal{L}}{\partial h_T}\cdot \prod _{t=2}^T(W_{hh}^T\cdot \text{diag}(1-h_t^2))$$

当 $T=10$ 时，$W_{hh}$ 的谱范数若小于 1（常见情况），连乘 10 次后梯度范数衰减至 ${\lambda }^{10}$，几乎为零。而 LSTM 和 GRU 的门控设计提供了绕过连乘的"直接通道"（见第五节）。

生活类比——记忆电话号码：RNN 像短时记忆——报一遍 8 位数能记住，报 15 位就懵了。GRU 和 LSTM 像拿笔写在纸上——8 位、15 位都能记，但纸太小（隐藏维度不够）时写 20 位也费劲。

---

四、训练稳定性：谁不容易"翻车"？

RNN 训练时有两个顽固问题：梯度消失（Loss 不动）和梯度爆炸（Loss 突然 NaN）。LSTM 和 GRU 的门控机制天然缓解了这两个问题。

结合 blank_len=10 的实验数据，逐个分析：

模型	梯度消失表现	根本原因
RNN	Loss 下降至 1.3× 后停滞	$W_{hh}$ 连乘导致 $|\partial h_{10}/\partial h_1|\approx 0$
GRU	平稳下降至 6.6×	更新门 $z_t$ 的 $(1-z_t)$ 通道提供直接梯度路径
LSTM	平稳下降至 9.9×	遗忘门 $f_t$ 和 $c_t$ 的线性传递是最强防消失设计

RNN 的困境：BPTT 展开 10 步后，$\partial h_{10}/\partial h_1$ 是 10 个 Jacobian 矩阵的连乘积。初始化时 $W_{hh}$ 的特征值通常小于 1，连乘后呈指数衰减。即使用梯度裁剪防止爆炸，也无法解决消失——裁剪只能"削峰"，不能"填谷"。

GRU 的解法：最终隐藏状态的更新公式 $h_t=(1-z_t)\odot h_{t-1}+z_t\odot {\tilde{h}}_t$ 提供了两条梯度路径：

$$\frac{\partial h_t}{\partial h_{t-1}}=\underset{\text{直接通道}}{\underbrace{(1-z_t)}}+z_t\cdot \frac{\partial {\tilde{h}}_t}{\partial h_{t-1}}$$

当 $z_t\approx 0$（几乎不更新）时，第一项 $(1-z_t)\approx 1$，梯度近乎无损地从 $h_t$ 流向 $h_{t-1}$——不需要经过任何矩阵乘法。这就是 GRU 的"梯度高速公路"。

LSTM 的解法：细胞状态更新 $c_t=f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t$ 更为直接：

$$\frac{\partial c_t}{\partial c_{t-1}}=\underset{\text{逐元素乘法}}{\underbrace{f_t}}+i_t\cdot \frac{\partial {\tilde{c}}_t}{\partial c_{t-1}}$$

当 $f_t\approx 1$（不遗忘）时，梯度 $\partial c_t/\partial c_{t-1}\approx 1$——完全无损传递。且 LSTM 的 $c_t$ 和 $h_t$ 是两条独立路径，$c_t$ 专攻"记忆传输"，$h_t$ 专攻"对外输出"，分工明确。GRU 只有一条 $h_t$，同时承担两个角色，因此在极端长序列上略逊 LSTM。

生活类比——走钢丝：RNN 像不带平衡杆走钢丝——短距离还行，长距离必摔。GRU 像带了一根平衡杆，LSTM 像不仅带了平衡杆还系了安全绳——最稳但装备最重。

---

五、梯度流结构对比：一张图看懂差异

上面反复提到"梯度高速公路"，下面用一张结构图直观展示三者在梯度回传路径上的本质差异：

核心差异一句话：

• RNN：梯度回传每步都必须经过 $W_{hh}^T$ 矩阵乘法，连乘导致指数衰减；
• GRU：$(1-z_t)$ 提供了一条逐元素乘法的"捷径"，绕过矩阵乘法；
• LSTM：$f_t$ 在 $c_t$ 这条独立线路上用逐元素乘法传递梯度，且与 $h_t$ 解耦。

---

六、综合评测：一张柱状图看全局

将五个维度归一化到 0-5 分（越高越好），量化评分：

维度	RNN	GRU	LSTM	评分依据
记忆时长	2	4	5	blank_len=10 的下降倍数
计算速度	5	3	2	实测耗时倒数归一化
训练稳定性	2	4	5	梯度消失风险与收敛平稳性
参数效率	5	3	2	参数量倒数归一化

从柱状图可以直观看出：

• RNN：在"计算速度"和"参数效率"上拉满（5 分），但"记忆时长"和"训练稳定性"严重拖后腿（2 分）——典型的"偏科生"，适合短序列快速实验。
• GRU：四项得分 3-4 分，没有明显短板——“水桶型选手”，性价比最高。
• LSTM："记忆时长"和"训练稳定性"满分（5 分），但"计算速度"和"参数效率"仅 2 分——“偏科型学霸”，适合追求精度上限的场景。

---

七、选型决策：IMDB 实战怎么选？

即将开始的 IMDB 情感分析实战（第 14-16 章），影评平均长度约 200-300 词，属于"中等偏长"序列。结合本章评测：

场景	推荐模型	理由
快速跑通流程、验证数据管线	RNN	代码最简，训练最快，短序列够用
主力模型、追求效率与精度的平衡	GRU	参数少 25%，训练快约 30%，IMDB 精度通常只比 LSTM 低 1-2%
精度上限、最终对比基准	LSTM	记忆能力最强，训练最稳定，适合作为"天花板"对照

实战策略：三模型同台竞技——GRU 做"效率优先主力"，LSTM 做"精度上限对照"，RNN 做"反例对照组"。控制变量法（相同 Embedding 维度、隐藏维度、训练轮数），跑完直接对比三条验证集准确率曲线——这正是第 15 章的核心内容。

---

八、本章小结

用一张总表收官：

对比维度	RNN	GRU	LSTM
核心公式数	2	4	7
门控数量	0	2（更新门 + 重置门）	3（遗忘 + 输入 + 输出）
状态数量	1（$h_t$）	1（$h_t$）	2（$c_t$ + $h_t$）
参数量 (H=128)	24,704	74,112	98,816
训练速度（相对）	1.00×	0.39×	0.27×
长序列记忆 (blank_len=10)	1.3× ❌	6.6× ✅	9.9× ✅
梯度回传路径	全部经 $W_{hh}^T$ 矩阵乘法	$(1-z_t)$ 直接通道	$f_t$ 细胞状态专线
训练稳定性	梯度消失/爆炸风险高	较稳定	最稳定
适用场景	短序列基线实验	中等长度 / 效率优先	长序列 / 精度优先

GRU 的定位：它不是 LSTM 的"低配版"，而是"精简版"。砍掉输出门、合并细胞状态，用 75% 的参数换来了接近 LSTM 的性能和更快的训练速度。在实际工程中，GRU 往往是性价比最高的选择。

到这里，RNN 家族的"理论篇"全部结束。从下一章开始，正式进入"实战篇"——把文本变成数字，把模型跑在真实的 IMDB 影评数据上。

---

下一篇（二十四）：文本向量化——从独热编码到词嵌入