土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】55｜Transformer 的根本局限：为什么 O(n²) 是终极瓶颈

2026-08-08 | transformer | #transformer #long-context #attention-complexity #architecture #limitations #computational-complexity #kv-cache #data-efficiency

FlashAttention 能把 attention 的 I/O 推到理论下界，却动不了 FLOPs；SETH 复杂度理论进一步证明标准 attention 在多数参数区间没有亚二次算法。本文区分工程瓶颈与架构瓶颈，用 RULER、Lost in the Middle 和数据受限 scaling law 说明长上下…