土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】58｜后 Transformer 时代：架构会消失还是会进化

2026-08-08 | transformer | #transformer #post-transformer #hybrid-architecture #architecture #llm #agent #hardware-lottery #future

后 Transformer 时代的判断不该是「哪个架构赢」，而是系统边界问题。本文用 Jamba、Griffin、NVIDIA 的受控对照实验说明纯 SSM 为何缺 in-context learning、混合架构为何更可能，用 RETRO/RAG/ReAct/MemGPT 说明模型与系统边界如何模糊，并结合 Hardware Lottery 与 SWE-bench/GAIA 等交互式评测讨论硬件和评测如何反向塑造架构。