【Transformer 与注意力机制】58｜后 Transformer 时代：架构会消失还是会进化

从 01｜为什么要从这里开始 到 57｜RWKV / RetNet / 线性注意力，本系列一路从向量点积、Q/K/V、self-attention 讲到原始 Transformer、BERT/GPT、FlashAttention、KV Cache、可解释性，再到 Mamba、RWKV、RetNet 这些绕开 full attention 的路线。到这里，一个绕不开的问题是：Transformer 会被取代吗？

这个问题问得不太对。它暗示答案是一个二元判断——「会」或「不会」——但架构选型从来不是二元判断，而是在一组互相牵制的约束下做取舍：生态成本有多高、硬件适配有多深、质量差距能不能补、系统边界怎么切。本篇不预测哪个架构或哪家公司会赢，那是商业问题，不是技术问题；本篇要做的是把 55｜Transformer 的根本局限 到 57｜RWKV / RetNet / 线性注意力 铺开的技术约束收拢成一个可核对的结构性判断，并用 2024 年之后几组独立团队的受控实验作为证据，而不是空泛地展望未来。

本篇能让你学会三件事：

1. Transformer 的护城河具体由哪四类东西构成，为什么「复杂度更低」从来不足以撼动它；
2. 为什么最近三个独立团队（AI21、Google DeepMind、NVIDIA）用不同的循环机制做了几乎同一个受控实验，都得出「纯 SSM 会在某类任务上系统性输给 attention，但极少量 attention 就能补上」的结论；
3. 为什么模型和系统的边界正在变模糊，以及硬件、评测方式如何反过来塑造下一代架构。

一、为什么 Transformer 很难突然消失

「新架构能不能取代 Transformer」这个问题里，最容易被忽略的一点是：Transformer 从来不是一篇论文那么简单，它是四类深度耦合的资产共同构成的护城河，任何新架构想要真正替代它，必须在四条战线上同时打赢，而不是在其中一条上赢就够了。

生态。围绕 attention 和 Transformer block 已经积累了近十年的软件资产：cuDNN/cuBLAS 级别的矩阵乘法 kernel，FlashAttention 系列的 I/O-aware attention kernel（见 42｜FlashAttention），Megatron-LM、DeepSpeed 这类张量/流水线并行框架，vLLM、TensorRT-LLM 这类围绕 KV Cache 做 PagedAttention 和连续批处理的推理引擎，GPTQ/AWQ/SmoothQuant 这类量化工具（见 51｜量化、蒸馏、剪枝），以及整套 RLHF/DPO 对齐流程。一个新架构如果想要同等成熟度的生态，不是写一篇论文就能获得的，而是需要成百上千个工程师小时去补齐每一层工具链。

硬件。GPU 和 TPU 的张量核心（tensor core）设计已经为稠密矩阵乘法优化了十年，\(QK^T\) 和加权求和恰好落在这类硬件最擅长的运算模式里。Sara Hooker 在《The Hardware Lottery》（Communications of the ACM, 2021）里给出的核心论断是：一个研究想法能不能赢，很大程度上取决于它是否恰好适配当时的软硬件栈，而不是它本质上更优——历史上多次出现过「更好的想法」因为不适配当时硬件而被埋没几十年后才翻身的案例。这个论断反过来解释了 Transformer 的优势：它不是因为数学上绝对最优才主导了这十年，而是因为它和 GPU/TPU 的矩阵乘法范式高度契合，才在「硬件彩票」里中了奖。新架构如果结构上更适合稠密矩阵乘法之外的运算模式（比如 SSM 的 selective scan 本质是逐元素的循环更新），就必须自己承担硬件适配的成本——Mamba 能在 GPU 上跑得快，靠的不是数学公式本身，而是 Gu 和 Dao 专门写了硬件感知的并行 scan kernel。没有这一步工程投入，理论上线性复杂度的模型在真实 wall-clock 时间上完全可能输给已经被优化到极致的 attention。

配方。围绕 Transformer 积累的不只是代码，还有大量「知道但没写进论文」的训练经验：什么样的学习率 warmup 和衰减曲线在什么规模下稳定，什么样的初始化和归一化方式能撑住上百层堆叠（见 25｜Layer Normalization、36｜训练稳定性），Chinchilla 式最优数据/参数配比（见 34｜Scaling Laws）是针对 Transformer 的计算图标定的。新架构即使数学上等价高效，也要重新摸索一套配方——Jamba 的作者在论文里就专门提到，Mamba 层在大规模训练时需要额外的归一化处理才能稳定，这是标准 Transformer 配方里不存在的坑。

数据。当前的分词器、数据清洗流水线、评测 harness，几乎都是围绕「Decoder-only Transformer 逐 token 自回归生成」这套假设搭建的（见 40｜三大路线之争）。切换到状态更新范式的模型，连「怎么公平地和现有 baseline 比较」都要重新设计实验协议。

这四条护城河合在一起，解释了为什么复杂度表格上的胜利远远不够。下一节要谈的 Mamba 争议正是一个活生生的例子：一个数学上足够漂亮、后来被证明确实有效的架构，第一次投稿时因为「评测协议不够完整」被顶会拒稿——护城河不只挡在工程落地那一步，甚至挡在「如何证明你比 Transformer 好」这一步。

二、为什么 Transformer 也不会原样解决一切

护城河解释了 Transformer 为什么难以被推倒，但它不解释 Transformer 能不能原样把未来所有问题都吃下来。55｜Transformer 的根本局限 已经把架构瓶颈和工程瓶颈分清楚：FlashAttention、PagedAttention、量化、speculative decoding 都是工程优化，能把瓶颈推远，但不能改变 full attention 的二次关系、KV Cache 的线性增长、自回归生成的串行依赖这三条结构性代价。这些代价不会因为硬件更快而消失，只会被推到更远的长度和更高的并发上重新出现。

比架构瓶颈更根本的是能力边界。第一是记忆：55｜Transformer 的根本局限 第四节已经说清楚，长上下文只是「一次前向能访问的 token 范围变大了」，不是持久化、检索、更新、遗忘意义上的长期记忆。第二是工具：Transformer 的前向计算是纯函数式的模式匹配和插值，它不天然具备精确执行代码、查数据库、调用外部 API 的能力——这些能力如果要具备，必须在训练或推理阶段显式引入非参数化的交互通道，第四节会具体展开。第三是多模态：45｜ViT、46｜多模态融合、47｜Diffusion + Transformer 已经说明图像、视频可以被 token 化并塞进同一套 attention 计算图，但视频和交互式环境带来的 token 数量级远超文本，长序列成本会被进一步放大，而不是被「通用 token 接口」这件事本身解决掉。

这三类缺口有一个共同特征：它们不是「再等一代硬件」或「再堆一些参数」就能补上的点状缺陷，而是单次前向计算这个计算模型本身的结构性边界——一次前向只能在给定的上下文窗口里做插值和检索，它无法跨会话持久化状态，无法保证精确的符号计算，也无法在没有额外模块的情况下把语言之外的模态压缩到可控的 token 数量里。第三节和第四节要谈的混合架构和系统边界模糊，正是在回应这三类缺口——不是靠换一种新的相似度加权求和公式，而是靠把部分职责从「模型一次前向」里搬出去。

这里还要提一句边界：如果混合架构仍然保留自回归生成，它不会自动豁免 59｜推理退化 讨论的死循环、乱码问题——退化的根源是自回归反馈本身，不取决于每一步用的是 attention 还是状态更新。换架构解决的是长序列成本和记忆边界，不是自动解决推理稳定性。

三、混合更可能：三个独立团队的受控实验说了什么

「未来是不是混合架构」这句话如果只停留在直觉层面，就和「各有优劣，具体要看场景」一样没有信息量。真正有价值的问题是：混合到什么程度、混合哪些层、为什么必须混合而不是纯粹替换。2024 年出现的三组独立工作——AI21 的 Jamba、Google DeepMind 的 Griffin/Hawk、NVIDIA 领头的 Mamba 系统性对照研究——恰好从三个不同的团队、三种不同的循环机制出发，做了几乎同一个受控实验，而且得到了收敛的结论。

Jamba（Lieber et al., AI21 Labs, arXiv:2403.19887, 2024；后续 Jamba-1.5 版本在 ICLR 2025 发表）把 Transformer attention 层和 Mamba 层按固定比例交替堆叠，并在部分层上加 MoE。论文的消融实验（1.3B 参数、250B token 规模）直接给出了关键数字：attention 层和 Mamba 层的比例在 \(a{:}m=1{:}7\) 到 \(1{:}3\) 之间几乎没有性能差异，因此选择更省算力的 \(1{:}7\)——也就是每 8 层里只放 1 层 attention。更关键的是失效模式分析：纯 Mamba 模型（Mamba 层配 MLP，完全不含 attention）在需要 in-context learning 的任务上系统性落后，而只要在 8 层里放 1 层 attention，模型就能恢复接近标准 Transformer 的 in-context learning 能力。Jamba 团队把这个现象归因到 53｜机制可解释性 讨论过的 induction head：Olsson 等人（Anthropic, arXiv:2209.11895, 2022）已经论证 in-context learning 的涌现和 induction head 的形成同步出现，而 induction head 是一种依赖 attention 的 K-composition 电路，用于在序列里找到「上次看到同样 token 时后面跟的是什么」。纯状态更新模型把历史折叠进一个固定大小的状态向量，天然做不到这种基于精确 token 匹配的检索式复制——这不是「调参没调好」，而是压缩状态和显式 KV 检索之间的表达能力差异，是结构性的，不是量变。这正好呼应了 56｜状态空间模型 第七节提到的「信息瓶颈」：状态压缩必然要决定保留什么、丢什么，而 in-context learning 恰恰需要的是「不丢、可精确取回」。

Google DeepMind 的 Griffin/Hawk（De et al., arXiv:2402.19427, 2024；截至本文写作时仍是 arXiv 预印本，未见期刊或顶会正式发表，需按未经 peer review 处理）走的是另一条路：Hawk 是纯门控线性循环模型（RG-LRU），Griffin 是 RG-LRU 循环层加局部 attention 的混合体。论文自报的数字是：Hawk 在下游任务上用一半训练 token 就超过了 Mamba 的公开结果，Griffin 用不到六分之一的训练 token 就追平了 Llama-2。这两个数字目前主要来自作者自己的实验，还没有看到独立团队用相同数据和算力复现，按证据等级只能作为线索，不能单独支撑「Griffin 已经证明比 Transformer 更高效」这类强结论。

真正把这个问题推到生产规模、并且做了严格对照实验的是 NVIDIA 主导的《An Empirical Study of Mamba-based Language Models》（Waleffe et al., arXiv:2406.07887, 2024）。这项研究用完全相同的数据（最多 3.5 万亿 token）分别训练了 8B 参数的 Mamba、Mamba-2、标准 Transformer，以及一个 8B 参数的混合模型——43% Mamba-2 层、7% self-attention 层、50% MLP 层（论文称为 Mamba-2-Hybrid）。结果同样收敛到 Jamba 的结论：纯 Mamba 和纯 Mamba-2 在需要强复制或 in-context learning 能力的任务上（论文举了 5-shot MMLU 和 Phonebook Lookup 两个具体例子）以及长上下文推理上落后于同规模 Transformer；而混合模型在全部 12 个标准评测任务上都超过了同规模 Transformer（平均 +2.65 分），且推理时最高可以快 8 倍。研究团队还把混合模型和 Transformer 分别扩展到 16K、32K、128K 上下文长度，在额外 23 个长上下文任务上混合模型依然持平或超过 Transformer。

三个团队、三种不同实现、三套不同代码库，独立得到同一个结构性结论：极少量的全局 attention（1/8 甚至更少）就能补上纯循环/状态模型在精确检索类任务上的缺口，而把剩余大部分层换成线性复杂度机制可以拿到大部分的效率收益。这不是「选哪个更好的单一架构」的问题，而是一个可以按层设计的分工问题——哪几层需要显式、精确的 token 级检索，哪几层只需要携带压缩的背景状态。MoE 又是与这两者正交的第三个轴：它调节的是参数总量和每 token 激活计算量的比例（见 44｜MoE），可以叠加在任意的 attention/循环层配比之上。所以更准确的表述不是「attention 加 SSM 加 MoE 三选一或者三个凑一起」，而是三个可以独立调节的设计维度：多少层做精确检索、每层循环状态用什么机制携带背景、参数总量和激活计算量之间留多大余量。

这里也必须承认这个领域仍然争议未定，而且争议本身很说明问题。Mamba 原始论文（Gu & Dao, arXiv:2312.00752, 2023）投稿 ICLR 2024 时被拒稿，主要争议点是缺少 Long Range Arena 基准测试结果、以及用 perplexity 作为主要评测指标是否足以证明真实建模能力。这篇论文随后在 2024 年 7 月的首届 COLM（Conference on Language Modeling）上获得 Outstanding Paper Award。这个反转不该被简化成「顶会审稿人错了」或者「Mamba 最终被证明是对的」——它真正说明的是，即使到了 2024 年，学界对「该用什么协议评价一个新的序列建模架构」这件事本身还没有共识，这正是「后 Transformer ≠ 无 Transformer」这场争论里经常被忽略的一层：争议不只在「谁更强」，还在「怎么判断谁更强」。

四、模型与系统边界模糊：RAG、agent、外部记忆

如果精确检索可以只靠八分之一的 attention 层完成，一个自然的追问是：既然模型内部已经可以把「检索」和「携带背景状态」分开处理，为什么不能把部分检索直接搬到模型外部？答案是可以，而且已经有一整条工作在做这件事，这也是「模型」和「系统」边界模糊的具体表现。

RETRO（Borgeaud et al., ICML 2022，PMLR 162:2206-2240）是这条线里较早的系统化尝试：它用一个冻结的 BERT 检索器从 2 万亿 token 的外部数据库里取回相关文本片段，通过 chunked cross-attention 把这些片段接入生成过程。效果是：RETRO 用比 GPT-3、Jurassic-1 少 25 倍的参数，在 Pile 数据集上达到相当的困惑度。这个结果的意义不在于「检索比参数便宜」这句口号，而在于它示范了一种具体的责任切分：把事实性知识放进可检索、可更新的外部存储，把语言建模和推理能力留在参数里。RAG（Lewis et al., NeurIPS 2020）走的是更早、更轻量的路线，把预训练 seq2seq 模型（参数化记忆）和一个基于 Wikipedia 稀疏索引的检索器（非参数化记忆）拼在一起微调，证明这种组合在开放域问答等知识密集型任务上能超过纯参数模型，而且知识更新只需要换索引，不需要重新训练。

工具调用把这种切分推得更远。ReAct（Yao et al., ICLR 2023）让模型在推理和行动之间交替：先生成一步推理，再决定要不要调用外部工具（比如查 Wikipedia），再把工具返回结果接回推理链。Toolformer（Schick et al., NeurIPS 2023）则让模型通过自监督的方式学会「什么时候该调用计算器、搜索引擎或翻译 API，以及怎么把调用结果嵌进生成文本里」。这两项工作共同说明的是：一个模型能不能算对一道多位数乘法，不再单纯是模型参数学到了多少算术模式的问题，而是它有没有学会在正确的时机把这件事外包给一个确定性工具。模型的「能力」边界因此从「参数里编码了什么」扩展成了「参数加上它能调用的工具集里编码了什么」。

外部记忆是第三个维度。MemGPT（Packer et al., arXiv:2310.08560, 2023，目前仍是 arXiv 预印本，未经期刊或顶会 peer review）提出用操作系统式的分页思路管理对话历史：把当前对话窗口当作「主存」，把历史对话和用户档案当作「外存」，模型自己决定什么时候把信息换入换出上下文。这个设计把 55｜Transformer 的根本局限 第四节强调的「长上下文不等于长期记忆」往前推了一步——记忆问题被显式建模成一个调度问题，而不是继续指望窗口本身足够长。

把这三条线放在一起看，能看出同一个方向：当模型的有效能力越来越依赖检索命中率、工具是否可用、外部存储的调度策略，「这个模型有多强」这个问题本身开始失去清晰的边界。更贴切的问法是「这套系统在给定任务分布上有多强」，而这套系统里，Transformer（或者它的混合变体）通常仍然是核心组件，但不再是唯一决定能力上限的东西。这也是为什么 agent、RAG 这类系统工程会越来越像是架构讨论的延伸，而不是纯粹的应用层话题。

五、硬件反向塑造架构

第一节引用的 Hardware Lottery（Hooker, Communications of the ACM, 2021）这篇文章的核心论断值得在这里再往前推一步：它不只是解释「为什么 Transformer 现在难以被取代」，还预言了「下一代硬件会重新定义哪些架构可行」。这个预言在 2022 到 2024 年之间已经能看到具体证据。

FlashAttention（Dao et al., NeurIPS 2022，见 42｜FlashAttention）本身就是「软件主动适配硬件」的例子：它不改变 attention 的数学公式，只是通过 I/O-aware tiling 让计算模式匹配 GPU 的 SRAM/HBM 层级结构，由此获得数倍的实际加速。这说明即使数学公式不变，硬件感知的实现方式也能决定一个架构在真实机器上是「可用」还是「太慢」。反过来，Mamba 的 selective scan 在数学上是线性时间，但如果没有专门写硬件感知的并行 scan kernel，它在 GPU 上很可能比已经被 FlashAttention 优化十年的标准 attention 更慢——这正是为什么 Gu 和 Dao 在原始论文里要花大量篇幅讲 kernel 实现，而不只是讲状态空间的数学。硬件适配从来不是架构论文的附属细节，它经常是决定一个「理论上更优」的想法能不能真正获得市场份额的关键变量。

往前看，显存容量和带宽（HBM 代际升级）、芯片间互联（NVLink、下一代互联标准）、低精度计算（FP8、FP4）、片上 SRAM 大小，都会持续影响哪种 attention/循环层配比在真实硬件上是「几乎免费」的，哪种只是纸面上的复杂度优势。这部分具体的 GPU/kernel 工程细节属于 llm-infra 系列 的范围，本篇只钉住一个判断：算法、系统、芯片三者的边界会持续变薄，新架构如果只在复杂度表格上赢、不投入硬件适配，大概率赢不了真实吞吐。

六、评测方式从静态走向交互

第三节和第四节的判断都隐含一个假设：我们能可靠地测出「哪种架构/系统更强」。这个假设本身正在变得不稳固，原因是评测方式正在经历一次结构性转变。

静态 benchmark 时代的评测逻辑很简单：准备一批带标准答案的题（MMLU 式选择题、GSM8K 式数学题），批量跑一次前向，算准确率。这种协议便宜、可复现，但也容易饱和、容易被训练数据污染，而且天然无法测试多步骤、跨会话、需要工具的能力。SWE-bench（Jimenez et al., ICLR 2024, Oral）的论文摘要直接点出了这个矛盾：“Language models have outpaced our ability to evaluate them effectively”（语言模型已经超出了我们有效评估它们的能力）。SWE-bench 给模型的任务是解决真实 GitHub 仓库里的 issue——需要理解多个文件、协调多处修改、执行测试验证结果——这类任务无法在一次前向里完成。论文发布时最强的模型 Claude 2 也只解决了 1.96% 的问题，这个数字本身就说明静态单轮评测和真实软件工程能力之间的差距有多大。

GAIA（Mialon et al., ICLR 2024, Poster；arXiv:2311.12983）走得更极端：它专门挑选「人类觉得简单，但需要推理、多模态处理、网页浏览和工具调用组合起来才能完成」的问题，报告的数字是人类可以做到 92% 的正确率，而配备插件的 GPT-4 只能做到 15%。这个反差刻意反转了「LLM 在专业考试上超过人类」的叙事——它要说明的是，真正衡量通用助手能力的，不是它能不能通过法律或化学考试，而是它能不能像人一样稳定完成需要多步骤协调的日常任务。Chatbot Arena / MT-Bench（Zheng et al., NeurIPS 2023, Datasets and Benchmarks Track）代表了另一种转变：从「单次准确率」转向「成对偏好投票 + 多轮对话质量 + 用强模型当裁判」，试图捕捉静态题库测不出来的开放式对话质量。

这个转变和第三、四节的判断是同一件事的两面：如果评测本身开始要求多步骤规划、工具调用、长期状态维护，那么「哪种底层架构更强」这个问题就不能只看 perplexity 或者单轮准确率，而必须把它嵌入的检索系统、工具集、调度策略一起纳入评价对象。评测标准的演进，某种程度上是在追认第四节说的那件事：模型能力和系统能力的边界本来就在模糊，评测协议只是慢了一步才开始承认这一点。

七、系列回看：从 Q/K/V 到架构未来

从 02｜向量与点积的几何直觉 到这里，这条主线其实一直没变：注意力的核心是相似度加权求和，13｜Query/Key/Value 三件套 把它拆成三个可学习的投影，16｜Multi-Head Attention 让模型在多个子空间并行做这件事，20｜Transformer 整体架构 用残差、LayerNorm、FFN 把它们堆成可训练的深层网络。真正在变化的，是「让每一层对全部历史做一次精确检索」这件事被工程化的方式：先是用尽可能优化的矩阵乘法把它算得更快（42｜FlashAttention），再是把历史 K/V 缓存下来避免重算（49｜KV Cache），再是干脆减少要检索的关系数量（43｜稀疏与局部注意力、56｜状态空间模型、57｜RWKV / RetNet / 线性注意力），到本篇讨论的把部分检索职责外包给系统（RAG、工具、外部记忆）。

所以「后 Transformer 时代」这个说法容易被误读成「相似度加权求和这套直觉过时了」。第三节的证据恰恰说明相反的方向：Jamba、Griffin、NVIDIA 的受控实验都证明，哪怕只留八分之一的层做 attention，模型依然需要它来完成精确检索式的 in-context learning——这套直觉没有过时，过时的是「每一层每个 token 都必须做一次全量精确检索」这个默认设置。后 Transformer 时代真正在回答的问题，是把「要不要做精确检索、在哪一层做、检索范围放在参数内部还是外部系统里」这件事，从一个写死的架构假设，变成一个可以按任务、按硬件、按成本分层设计的工程选择。

八、关键概念回顾

• 四重护城河：生态（kernel/框架/推理引擎）、硬件（张量核心适配度）、配方（训练稳定性经验）、数据（分词/评测协议假设）共同构成 Transformer 难以被单点技术突破替代的原因。
• Hardware Lottery：一个架构能否胜出，部分取决于它是否恰好适配当前软硬件栈，而不只是数学上更优（Hooker, 2021）。
• 混合层配比：Jamba 的 \(a{:}m=1{:}7\)、NVIDIA 的 43% Mamba-2 + 7% attention + 50% MLP，都是「少量精确检索层 + 大量状态携带层」的具体实现。
• 纯 SSM 的 in-context learning 缺口：多个受控实验一致显示，纯状态更新模型在需要精确复制/检索的任务（如 phonebook lookup、5-shot MMLU）上落后于混合或纯 attention 模型，机制上和 induction head 电路缺失有关。
• 模型—系统边界模糊：RETRO/RAG 把知识记忆搬到外部检索，ReAct/Toolformer 把精确计算搬到外部工具，MemGPT 把长期状态搬到分页式外部存储，模型能力因此不再等价于参数编码的能力。
• 交互式评测：SWE-bench、GAIA、Chatbot Arena 代表评测从单轮准确率转向多步骤、工具调用、偏好投票，呼应了模型—系统边界的模糊化。

九、常见误解

9.1 「后 Transformer 等于 Transformer 消失」

第三节的三组受控实验恰恰反驳了这一点：即便是专门设计来降低 attention 占比的 Jamba、Griffin、Mamba-2-Hybrid，也都在架构里保留了 attention 层，而且论文明确指出去掉它会丧失 in-context learning 能力。更现实的描述是 Transformer 的组件继续存在，但不再独自承担所有序列建模职责。

9.2 「复杂度低的架构已经证明能替代 Transformer」

Mamba 论文投稿 ICLR 2024 被拒、随后在 COLM 2024 获奖的这段经历说明，即使一个架构确实有效，业界对「该用什么标准判断它是否比 Transformer 更好」仍未达成共识。复杂度表格上的优势不等于评测协议上的共识，更不等于工程落地上的胜利。

9.3 「只要接入检索或工具，模型就不需要好的架构了」

RETRO、RAG、ReAct 这类系统把部分记忆和计算能力外包给了外部模块，但检索命中率、工具调用的可靠性，仍然依赖底层模型能不能准确判断「什么时候该检索、该调用什么、结果怎么整合」——这本身仍然是模型的核心能力，系统只是扩展了能力边界，不是替代了它。

9.4 「评测分数越来越高，说明模型能力已经饱和」

GAIA 和 SWE-bench 的低分（GPT-4+plugins 在 GAIA 上 15% vs 人类 92%；Claude 2 在 SWE-bench 上仅解决 1.96% 的真实 issue）说明的恰恰是相反的情况：在需要多步骤规划和工具协调的交互式任务上，模型能力和静态题库上的高分之间存在明显落差。静态 benchmark 饱和不等于任务饱和。

十、开放问题

1. 混合层配比是否存在与任务无关的理论下界，还是纯粹经验调参？ Jamba 用 1:7、NVIDIA 用 43:7:50，两者的比例接近但不完全一致，且都是通过消融实验试出来的，目前没有统一理论预测「最少需要多大比例的精确检索层」。可读入口：Waleffe et al. (2024) 的消融实验部分，以及后续如果出现的 hybrid scaling law 工作。
2. 交互式评测能否在保持可复现、低成本的同时替代静态 benchmark？ Chatbot Arena 依赖大规模人类投票和 LLM-as-judge，本身存在位置偏差、verbosity 偏差等已被论文承认的局限（Zheng et al., 2023）；SWE-bench、GAIA 这类需要真实代码执行或多步骤工具调用的评测，运行成本远高于静态题库，能否规模化到成为行业标准仍不确定。
3. 模型能力和系统能力的安全责任边界该怎么切？ 当模型可以调用工具、检索外部数据库、维护跨会话记忆，一个错误行为的责任应该归到模型参数、检索内容，还是调度策略，目前没有公开的、被广泛接受的框架来回答这个问题。这不是本篇要展开的话题，但值得标注为一个尚未解决的问题。

十一、结语

回到开头的问题：Transformer 会消失吗？基于本篇给出的证据，更准确的回答是——它不会作为一个整体消失，但「每一层每个 token 都做一次全量精确检索」这个默认设置正在被拆解成一组可以独立调节的工程选择：多少层需要 attention 式的精确检索，多少层可以用状态更新携带背景，多少能力应该外包给检索、工具和外部记忆，以及这一切最终要在什么硬件上跑、用什么协议评价。

这也是整个系列想要留下的判断方式：理解 Transformer，不是为了断言它会不会被取代，而是为了在做架构选型时知道每一个组件在解决哪个具体约束——什么时候该用 attention，什么时候该用状态更新，什么时候该把职责交给系统而不是模型参数。这个判断方式，比任何「谁会赢」的预测都更经得起时间检验。

十二、参考文献

核心论文

1. Vaswani, A. et al. “Attention Is All You Need.” NeurIPS 2017. Transformer 与 scaled dot-product attention 的奠基论文。
2. Gu, A. and Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023；投稿 ICLR 2024 被拒后于 COLM 2024 获 Outstanding Paper Award。
3. Lieber, O. et al. “Jamba: A Hybrid Transformer-Mamba Language Model.” arXiv:2403.19887, 2024（AI21 Labs）。混合层配比与 in-context learning 消融实验的来源。
4. Waleffe, R. et al. “An Empirical Study of Mamba-based Language Models.” arXiv:2406.07887, 2024（NVIDIA 等）。8B 参数、3.5T token 规模的受控对照实验，Mamba-2-Hybrid 的数据来源。
5. De, S. et al. “Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models.” arXiv:2402.19427, 2024（Google DeepMind）。截至本文写作时仍为 arXiv 预印本，未见独立复现。
6. Hooker, S. “The Hardware Lottery.” Communications of the ACM, 64(12), 58-65, 2021.
7. Olsson, C. et al. “In-context Learning and Induction Heads.” arXiv:2209.11895, 2022（详细讨论见 53｜机制可解释性）。

检索、工具与外部记忆

8. Borgeaud, S. et al. “Improving Language Models by Retrieving from Trillions of Tokens.” ICML 2022, PMLR 162:2206-2240（RETRO）。
9. Lewis, P. et al. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” NeurIPS 2020.
10. Yao, S. et al. “ReAct: Synergizing Reasoning and Acting in Language Models.” ICLR 2023.
11. Schick, T. et al. “Toolformer: Language Models Can Teach Themselves to Use Tools.” NeurIPS 2023.
12. Packer, C. et al. “MemGPT: Towards LLMs as Operating Systems.” arXiv:2310.08560, 2023（预印本，未经 peer review）。

交互式评测

13. Jimenez, C. E. et al. “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?” ICLR 2024（Oral）。
14. Mialon, G. et al. “GAIA: A Benchmark for General AI Assistants.” arXiv:2311.12983, 2023；ICLR 2024（Poster）。
15. Zheng, L. et al. “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.” NeurIPS 2023, Datasets and Benchmarks Track.

← 上一篇：57｜RWKV / RetNet / 线性注意力　|　下一篇：59｜推理退化 →