【大模型基础设施工程】11：推理引擎基础
从 Prefill/Decode 两阶段、KV Cache、Continuous Batching 到 PD 分离，系统讲清楚大模型推理的工程基础。
mla 标签归档
共 2 篇文章 · 返回首页
【大模型基础设施工程】16：长上下文工程
从 4K 到 1M+ 上下文的训练与推理工程——位置编码扩展、稀疏 attention、Ring Attention、KV 压缩与长上下文评测
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。
共 2 篇文章 · 返回首页
从 Prefill/Decode 两阶段、KV Cache、Continuous Batching 到 PD 分离，系统讲清楚大模型推理的工程基础。
从 4K 到 1M+ 上下文的训练与推理工程——位置编码扩展、稀疏 attention、Ring Attention、KV 压缩与长上下文评测