【Transformer 与注意力机制】50｜Speculative Decoding：用小模型加速大模型
KV Cache 后 decode 仍是显存带宽受限的串行循环。本文给出投机解码的接受-拒绝公式与正确性证明，推导接受率如何决定加速比，用实测数据说明批大小何时让投机解码倒贴，并只钉住 Medusa/EAGLE/MTP 的原理差异。
speculative-decoding 标签归档
共 2 篇文章 · 返回首页
【大模型基础设施工程】15：推测解码与 MTP
从经典 Speculative Decoding 到 Medusa、EAGLE、Lookahead、MTP 与自推测——系统梳理让大模型"一次多吐几 token"的工程方法与引擎支持