【大模型基础设施工程·特别篇】28:DeepInfer 深度解析——DeepSeek 生产推理引擎开源了什么
对照固定版本源码,拆解 DeepInfer 的离线用法、kernels、EP/EPLB、DSpark、SWA 与 ZOS:解释优化的条件和代价,区分开源引擎、完整服务及营收口径。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 3 篇文章 · 返回首页
对照固定版本源码,拆解 DeepInfer 的离线用法、kernels、EP/EPLB、DSpark、SWA 与 ZOS:解释优化的条件和代价,区分开源引擎、完整服务及营收口径。
从一次 generate 到并发服务,拆解调度、KV、并行与采样的职责;用 Roofline、分页写入和逐步调度解释成本,给出按官方文档核对的部署 Demo(未实跑模型服务)。
从服务视角拆推理算子层:Attention 家族、GEMM/量化、采样与 MoE 的多维对比,引擎如何选 backend,Nsight 实践路径,以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点(定性,非 tok/s 排行)。