【大模型基础设施工程】12：PagedAttention 与 Continuous Batching
PagedAttention 与 Continuous Batching 如何抬高推理吞吐：KV Cache 分页、批调度与工程取舍。
prefix-cache 标签归档
共 1 篇文章 · 返回首页
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。
共 1 篇文章 · 返回首页
PagedAttention 与 Continuous Batching 如何抬高推理吞吐：KV Cache 分页、批调度与工程取舍。