【Transformer 与注意力机制】56｜状态空间模型：Mamba、S4 的线性复杂度路径
Transformer 用 KV Cache 保存全部历史，SSM 用固定状态压缩历史。本文讲清 S4 为何长程却难训、Mamba 的 selective SSM 与 parallel scan 如何让递归既线性又能并行训练，比较推理状态与 KV Cache 的胜负边界，并给出 SSM 能否取代通用 LLM 的争论。
mamba 标签归档
共 3 篇文章 · 返回首页
【大模型基础设施工程】16：长上下文工程
从 4K 到 1M+ 上下文的训练与推理工程——位置编码扩展、稀疏 attention、Ring Attention、KV 压缩与长上下文评测
【大模型基础设施工程】25：大模型基础设施未来
系列收官：从 2022 到 2026 的四年拐点出发，梳理推理时 Scaling、世界模型、Agentic OS、专用芯片、架构创新、端侧、成本腰斩、合规八大趋势，并给出工程师成长路径与 25 篇索引。