【大模型基础设施工程】12：PagedAttention 与 Continuous Batching
PagedAttention 与 Continuous Batching 如何抬高推理吞吐：KV Cache 分页、批调度与工程取舍。
continuous-batching 标签归档
共 2 篇文章 · 返回首页
【大模型基础设施工程】11：推理引擎基础
从 Prefill/Decode 两阶段、KV Cache、Continuous Batching 到 PD 分离，系统讲清楚大模型推理的工程基础。