导读

真正深的变化，往往不在“又省了多少显存”，而在：

信息到底是不是还以 token-by-token 的显式历史形式存在。

这一篇专门讲三类更深的改动：

1. RealFormer / residual attention
2. RetNet / retention state
3. Kimi Linear / gated finite-state memory

它们的共同主题是：

让信息流从“每层重新算、每步重扫历史”，逐渐转向“带状态延续、带结构延续”的系统。

---

一、标准 Transformer 的状态问题：每层有 hidden residual，但 attention score 本身没有跨层记忆

标准 Transformer block：

$$x_{\ell +1}=x_{\ell }+\mathrm{AttnBlock}(x_{\ell })$$

$$z_{\ell +1}=x_{\ell +1}+\mathrm{FFN}(x_{\ell +1})$$

attention 内部：

$$S_{\ell }=\frac{Q_{\ell }{K}_{\ell }^{\top }}{\sqrt{d_k}}$$

$$P_{\ell }=\mathrm{softmax}(S_{\ell })$$

$$O_{\ell }=P_{\ell }{V}_{\ell }$$

这意味着：

隐状态有残差跨层延续，但 attention 分布本身每层几乎是重新生成的。

这个结构后面会引出第一类优化。

---

二、RealFormer：把残差推进到 attention logit

来源

• He et al., RealFormer: Transformer Likes Residual Attention (2020/2021)
  https://arxiv.org/abs/2012.11747

---

1. 原始机制

标准 Transformer 的 attention score：

$$S_{\ell }=\frac{Q_{\ell }{K}_{\ell }^{\top }}{\sqrt{d_k}}$$

每一层都独立形成自己的 score matrix。

原始流程图

2. 暴露的问题

虽然隐藏状态有残差，但：

上一层已经形成的注意力结构没有直接进入下一层的 score。

也就是说，attention 分布跨层没有显式延续。

3. 修改后的机制

RealFormer 把上一层 logits 直接加到当前层 logits。

4. 修改后的公式

简化写法：

$$S_{\ell }=\frac{Q_{\ell }{K}_{\ell }^{\top }}{\sqrt{d_k}}+S_{\ell -1}$$

$$P_{\ell }=\mathrm{softmax}(S_{\ell })$$

$$O_{\ell }=P_{\ell }{V}_{\ell }$$

5. 修改后的流程图

6. 最小改动单元

RealFormer 改动的最小单元是：

attention score matrix

不是 hidden state，不是 FFN，不是 KV cache。

它真正改的是：

注意力分布的跨层连续性。

---

三、从 Full Attention 到 RetNet：历史从显式 token 列表变成递归状态

来源

• Sun et al., Retentive Network: A Successor to Transformer for Large Language Models (2023)
  https://arxiv.org/abs/2307.08621

---

1. 原始机制：Full Attention

对第 $t$ 个位置，输出来自所有历史 token：

$$o_t=\sum _{j\le t}{\alpha }_{t,j}{v}_j$$

其中：

$${\alpha }_{t,j}=\frac{\exp (q_t^{\top }{k}_j/\sqrt{d})}{{\sum }_{i\le t}\exp (q_t^{\top }{k}_i/\sqrt{d})}$$

原始流程图

2. 暴露的问题

这个结构的问题不是表达力，而是：

历史必须以 token 级 K/V cache 的形式显式存在，并且每步都要反复扫。

3. 修改后的机制：Retention

RetNet 试图把历史改写成递归状态。

最简结构可以写成：

$$S_t=\gamma S_{t-1}+k_t^{\top }{v}_t$$

$$o_t=q_t{S}_t$$

其中：

• $S_t$ 是累积历史状态
• $\gamma$ 是衰减因子

4. 修改后的流程图

5. 最小改动单元

RetNet 改动的最小单元是：

历史存储对象

原来历史是：

• 显式 token 列表 K/V

后来历史是：

• 递归更新状态 $S_t$

这一步非常关键，因为它把 attention 的“扫历史”改成了“读状态”。

---

四、RetNet 再往前一步会发生什么：状态不只是累加，还会更细粒度门控

RetNet 已经把历史从 token cache 改成状态。
但更进一步的问题是：

这个状态是否足够表达复杂历史，是否足够可控，是否足够硬件友好。

这就进入了更细粒度的 gated state memory 路线。

---

五、Kimi Linear：把有限状态记忆做得更强、更门控、更块化

来源

• Kimi Team et al., Kimi Linear: An Expressive, Efficient Attention Architecture (2025)
  https://arxiv.org/abs/2510.26692

---

1. 论文里明确在做什么

根据论文摘要，Kimi Linear 是一种 hybrid linear attention architecture，核心模块 KDA 扩展了 Gated DeltaNet，用更细粒度门控机制更有效地利用有限状态 RNN memory，并用 chunkwise 算法和 DPLR 结构提高硬件效率 来源。

这句话拆开有三层含义：

1. 它不是 full attention，而是 linear/stateful 路线
2. 它不是简单状态累加，而是 gated finite-state memory
3. 它不是只管数学表达，还同时管 chunkwise 硬件执行

2. 原始机制：RetNet 式状态

可以把旧版状态化思路简化成：

$$S_t=f(S_{t-1},k_t,v_t)$$

$$o_t=g(q_t,S_t)$$

这已经比 full attention 更状态化。

3. 进一步暴露的问题

如果状态更新太粗糙，会有两个问题：

1. 历史表达不够细
2. 状态更新虽然线性，但表达力不够接近 full attention

4. 修改后的机制

Kimi Linear 这一类方法的核心方向是：

给状态更新引入更细粒度门控，让不同信息以不同强度、不同通道进入有限状态 memory。

用抽象写法表示：

$$S_t=A_t\odot S_{t-1}+B_t(k_t,v_t)$$

$$o_t=R_t(q_t,S_t)$$

这里：

• $A_t$ 是门控或状态转移项
• $B_t$ 是当前输入写入项
• $R_t$ 是读出机制

这不是 KDA 的完整论文公式，但足以准确表达它修改的结构层级：

状态更新从“单一递归累加”升级为“门控化、结构化、块化状态演化”。

5. 修改后的流程图

6. 最小改动单元

Kimi Linear 这类路线改动的最小单元是：

有限状态 memory 的更新规则

相比 RetNet 的“状态存在”，它更进一步改的是：

状态如何门控、如何分块、如何高效执行

---

六、把这三类改动压成一条主线

可以把它们理解成三层递进：

1. RealFormer
   把“跨层注意力结构连续性”显式化

2. RetNet
   把“历史 token 列表”改成“递归状态”

3. Kimi Linear
   把“递归状态”进一步升级成“更细粒度门控的有限状态 memory”

这条演化线可以画成：

---

七、这些变化到底在回答什么

表面上看，它们分别在改：

• residual
• attention
• state
• memory

但更深层其实都在回答同一个问题：

信息是否必须每次都重新从显式历史中算出来，还是可以以某种结构化状态的形式延续下来。

这其实是比“更快 attention”更深的命题。

因为它关系到：

• 长程推理成本
• 系统状态连续性
• 记忆组织方式
• 多步智能系统是否可能

---

八、最后给一个最关键的结论

如果把这三类方法的本质用一句话概括：

它们都在逐步削弱“显式重扫全部历史”这个假设。

标准 Transformer 假设：

历史最好以 token 级显式缓存形式存在，并在每一层、每一步被重新利用。

而状态化路线越来越倾向于：

历史应该部分地被压缩进连续状态、门控 memory 和跨层结构中。

这意味着未来的核心问题，不再只是：

怎么把 attention 算快一点

而是：

历史究竟应该以什么数学对象存在。

我认为这才是更深的主线。

---

参考文献

• He et al., RealFormer (2020/2021): https://arxiv.org/abs/2012.11747
• Sun et al., RetNet (2023): https://arxiv.org/abs/2307.08621
• Kimi Team et al., Kimi Linear (2025): https://arxiv.org/abs/2510.26692