如果你正在用 vLLM 或 SGLang 跑 DeepSeek 模型,看到官方开源 DeepInfer,第一个问题多半是:能直接换上它,复现官方服务吗?不能。这次公开的是离线推理引擎,不是整套在线服务。
但它仍值得拆开读。README 说这个引擎支撑 DeepSeek 的大规模生产服务;现在,混合专家(MoE)的放置、推测解码验证、滑动窗口注意力(SWA)的状态恢复和 CPU/GPU 异步调度都有代码可查。本文沿一条请求的运行路径,解释这些优化省的是哪笔开销、付出了什么代价,以及开源包外还缺什么。
源码基线为 commit
553741557a57df44a46fb3ab72b6aafeaf945337(下文简称
5537415)。本文核对了
README、examples/、doc/inference_deployment_qa.md
和引擎源码;社区站点 DeepInfer
Explained 只作阅读导航,不替代一手证据。未在
NVIDIA SM100 / 昇腾 Ascend 950
上执行构建或推理;生产规模和性能数字均引用 DeepSeek
自述,不代表独立复现。
下图区分用户入口、调度器、设备执行与算子库。Platform 是横跨设备执行的后端抽象,并不是最后再执行的一层;跨请求 KV 系统和在线服务编排在图外。图可点击打开原图,窄屏时可放大查看;长表格可横向滑动。
〇、30 秒版
- DeepInfer = DeepSeek
生产推理引擎的开源切片:主模型目前是
DeepSeek-V4.1-Flash;硬件是 NVIDIA SM100(CUDA 13)和华为
Ascend 950(CANN 9.2);入口是
examples/offline_inference.py。 - 增量不在“再包一层 vLLM”,而在 kernels、注意力数据并行(DP)+ 上下文并行(CP)、专家并行(EP)+ 专家并行负载均衡(EPLB)、DSpark 置信度调度、SWA bounded replay、零开销异步调度(ZOS),以及 batch-invariant / structured outputs。
- 诚实边界:README 列了三项 not included——跨请求 KV、VE/Prefill/Decode 分离编排、Prefill/Decode 的 DP 负载均衡;Q&A 还列了 VE Load Balancer(同样未开源)。引擎里已有部分 hook,但服务周边不在这个包里。
- 怎么用:空 Python 3.12 环境 →
export DEEPINFER_ACCELERATOR=nvidia|ascend→./build.sh→python examples/offline_inference.py。没有 SM100 / Ascend 950,很难当真跑通;这时它的价值是源码教材,不是替换你现网的 vLLM/SGLang。 - 和系列的关系:机制看 11 / 12;引擎选型看 13;多 token 预测(MTP)看 15;V4 架构与成本看 26 / 27。本篇回答:DeepSeek 自己线上那套引擎,开出来长什么样——以及它相对 vLLM / SGLang / TensorRT-LLM 的优势、劣势与多条采用路径(§7)。
一、开篇:为什么值得基础设施工程师读
读模型报告,通常能知道为什么需要 MLA、MoE 或
MTP,却不知道一次请求里谁负责分配缓存、谁决定验证多少草稿、谁处理拒绝后的回退。DeepInfer
的价值是让设计意图能和
schedule()、forward()、sample()
对上。
它也不是从零另起炉灶。README 的 Acknowledgments 写明:引擎最初主要基于 vLLM,并吸收了 SGLang、TensorRT-LLM 的思路;部分文件保留了 vLLM 衍生声明。读源码时可以先抓住三个区别:
- 你熟悉 vLLM 的
LLMEngine/ Worker / Sampler 分层,读起来不会完全陌生; - 真正的增量在 V4.1 模型特化路径(MLA、MoE、MTP/DFlash、YOCO/SWA)和 DeepSeek 自研 kernel / 调度;
- 它不是“通用多模型引擎”的完整替代品——当前公开支持模型名单只有 DeepSeek-V4.1-Flash。
部署
Q&A(doc/inference_deployment_qa.md)给出了生产规模:单集群约
155 万亿
token/天,按谷价折算的整体营收约 38
美元/卡时。两者都是 DeepSeek 自述。token
总量不是输出吞吐;营收更不是 GPU
成本或利润,不能据此倒推出你的服务单价或投资回报。
二、定位与边界:开了什么,没开什么
2.1 开源包边界一览
| 维度 | 开了什么 / 没开什么 | 来源 |
|---|---|---|
| 模型 | DeepSeek-V4.1-Flash(默认
HF:deepseek-ai/DeepSeek-V4.1-Flash-1017) |
README |
| 形态 | Offline inference(脚本喂 prompts,拿回 outputs) | README |
| 硬件 | NVIDIA SM100;Huawei Ascend 950 | README |
| 并行 / 解码 / 长上下文 / 调度 | EP+EPLB、DP/CP、DSpark、YOCO/SWA、ZOS、structured outputs、batch-invariant | README + 源码 |
| 完整服务周边 | KV 系统、E/P/D 编排、Prefill/Decode DP LB:未开源;VE LB:Q&A 有,仓库无 | README / Q&A |
| 许可 | 主仓库代码 Apache-2.0;模型权重和各依赖需分别核查许可 | README / LICENSE |
不要把“仓库里的代码”理解成全部算子都写在
deepinfer/ 中。模型与调度主体在
deepinfer/ 和
csrc/,部分设备内核由 vendor/
子模块提供,还有 pip 依赖 TileKernels 与仓内
tilelang_ops/。读主仓库可以核对调用关系;要核对某个内核的完整实现,还需取得对应依赖及其固定版本。
2.2 完整在线服务还缺什么
README 列了三项 Required for a complete inference service (not included):
- A KV cache system——跨请求复用、存储与命中匹配。生产侧 paged block KV 使用专用 3FS 集群,SWA 则存本地 host memory;不是所有状态都往 3FS 写(§6.3)。
- VE / Prefill / Decode disaggregation——视觉编码、prefill、decode 分服务部署;README 说引擎侧“most required engine functionality is already implemented”,但服务编排与入口不在本包。
- Load balancing across data-parallel replicas for both prefill and decode——README 明文写的是 Prefill / Decode 的 DP 级负载均衡。VE Load Balancer 见 Q&A(同样未开源)。注意:专家并行的 EPLB 已在引擎内;缺的是跨 replica 的请求级 LB。
另外,协议层的 deepseek-recipe 是并列开源的 tokenization / API 对齐组件,也不在 DeepInfer 仓库内。
下图把开源引擎和缺失周边分开;底部 38 美元/卡时标的是 Q&A 的营收,不是成本。Recipe 是另一个已开源项目,不应和未开源组件混为一栏。
读法建议:源码说明引擎内实现,Q&A 说明生产部署设计。两者结合能解释关键取舍,但公开文档不等于拿到了整套线上系统,也不足以保证复现官方规模。
三、如何使用:可跑通路径与现实门槛
3.1 环境前提
官方 Prerequisites:
- Linux
- GCC ≥ 13
- Python 3.12(空环境)
- NVIDIA:CUDA 13;Ascend:CANN 9.2
这不是“笔记本也能玩”的门槛。SM100 / Ascend 950 决定了:多数读者第一天的收获是读代码和跟 examples,而不是在自家 H100 上对拍 README Pareto。
硬件与并行能力见下图:双后端共用 Platform 抽象;生产 Q&A 说当前 TP/CP 暂不用,CP 能力主要在引擎 / examples 侧。
3.2 Build
# 必须先 export;ascend 平台改成 ascend
export DEEPINFER_ACCELERATOR=nvidia
./build.shbuild.sh 按
DEEPINFER_ACCELERATOR 安装
requirements-*.txt;NVIDIA 路径重装
nvidia-nccl-cu13==2.32.3,随后编译 vendor
子模块和 DeepInfer 本体。按 README
保持该变量与目标设备一致,但不要混淆构建和运行时:platform.py:get_platform()
实际调用
deep_cluster.hardware.accelerator_kind()
探测硬件,再选择 GPU / NPU
Platform,并非只看这个环境变量。
3.3 Offline inference
python examples/offline_inference.py
python examples/offline_inference.py --ep 8
python examples/offline_inference.py --ep 2 --dp 8
python examples/offline_inference.py --ep 2 --cp 8要点(来自 examples/README.md 与
_config.py):
- 默认模型
id:
deepseek-ai/DeepSeek-V4.1-Flash-1017;非本地目录会交给 HF 下载。本地目录可用--model_name。_config.py按参数值而非是否显式传参判断覆盖:值等于默认 id 时,DEEPINFER_HF_MODEL_DIR仍可替换它;其他 id 或本地路径不受这个变量覆盖。 - 并行整除关系分两条口径:
offline_inference.py:未给--dp时,dp_size = max(ep_size // cp_size, 1);world_size = dp_size * cp_size,要求world_size % ep_size == 0。所以--ep 2 --cp 8在参数算术上合法:dp=1, world=8;不代表显存和设备一定够。benchmark.py:由环境变量WORLD_SIZE乘可见设备数推导ep_size,再要求ep_size % cp_size == 0。不要把这条约束套回 offline 示例。
- 默认 EPLB 配置会把冗余专家下限
setdefault为 32,并直接把重排间隔设为 30、prefill 后重排设为 1。--disable_eplb只跳过这些启用配置,不会清除继承的环境变量;做关闭对照时还要检查重排间隔、prefill 后重排和冗余专家配置。 - NVIDIA offline 示例用
setdefault("DEEPINFER_BATCH_INVARIANT", "1");已导出的值优先。 --check_structured_output会在同一次 LLM 生命周期里跑 regex / JSON / EBNF 检查。
Benchmark / Pareto 入口是
examples/benchmark.py 与
examples/sweep/run_sweep.sh。官方 README 的
prefill 图使用 4×SM100,decode 图使用
64×SM100(同一 scale-up
domain);这是厂商测量条件,不是你的集群保证。读数之前还要检查三个口径:
- benchmark 强制
DEEPINFER_FORCE_LOAD_BALANCE=1,测的是理想专家路由均衡下的执行能力,不能直接代表真实热专家负载。 - decode tokens/s 按所有 draft
都接受计数,不是实测的有效输出吞吐;Pareto
脚本再用外部给定的接受率换算,且拒绝
MTP_VARLEN=1的结果。变长验证应另做对照,不能直接塞进同一绘图流程。 - YOCO 配置由 CLI 无条件覆盖环境:不用
--yoco_clip就是off;裸给该选项等于保留 140 个 token,--yoco_clip_mask做相同可见域的 mask 对照。仅导出本节后面的 YOCO 环境变量,对这个脚本无效。PROFILE默认 1,trace 采集与稳态计时分开;不要拿 profiler 窗口当稳态吞吐。
下图是一条 offline 请求从 prompt 到
RequestOutput 的路径;开启 ZOS 时,CPU 在 GPU
跑 forward(N)/sample(N) 的同时预排下一拍。
3.4 关键环境变量速查
变量集中定义在
deepinfer/environ.py。布尔值接受
0/1/true/false(大小写不敏感,空串为
false),非法值报错。引擎默认值不等于 examples
最终配置:setdefault
保留已导出的值,os.environ[...] = ...
则直接覆盖;示例两种写法都有,应检查具体脚本。
| 变量 | 作用 |
|---|---|
DEEPINFER_ACCELERATOR |
nvidia / ascend |
DEEPINFER_HF_MODEL_DIR |
参数值等于默认模型 id 时,替换为本地路径 |
DEEPINFER_USE_NEXTN_DECODE |
最大 draft 长度,默认 5;显式 0 关投机 |
DEEPINFER_ENABLE_MTP_VARLEN |
打开置信度变长验证调度 |
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE |
off / mask /
compact;V4.1 建议 compact |
DEEPINFER_YOCO_PREFILL_KEEP_TOKENS |
默认 0;启用 truncation 时必须显式设置,V4.1 建议 140 |
DEEPINFER_ZERO_OVERHEAD_SCHEDULING |
ZOS;NORMAL/COMPLETION 默认 setdefault 为 1 |
DEEPINFER_BATCH_INVARIANT |
跨 batch 组成数值不变(NVIDIA) |
DEEPINFER_OVERRIDE_NUM_EXTRA_EXPERTS |
EPLB 冗余专家下限 |
DEEPINFER_EXPERT_COUNT_WINDOW_SIZE |
专家统计窗口;引擎默认 100,_config.py
直接设为 3 |
DEEPINFER_EXPERT_REARRANGEMENT_STEP_INTERVAL |
周期重排间隔;引擎默认 0,examples 启用 EPLB 时直接设为 30 |
DEEPINFER_REARRANGE_AFTER_PREFILL_IN_NORMAL_ENGINE |
NORMAL 的 prefill 后重排;examples 启用 EPLB 时直接设为 1 |
Deterministic
sampling(README):DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0,并向
SamplingParams 传固定
seq_seed(NVIDIA only)。
Structured
outputs:SamplingParams(..., so_args={"schema_type": ..., "schema": ...}),见
examples/_structured_output.py;运行时走
structure_output/(xgrammar 相关
env:DEEPINFER_XGRAMMAR_*)。
四、从问题定位代码
如果只想先读一条路径,从自己的瓶颈选入口。机制和代价见第六节。
| 你在问什么 | 机制一句话 | 主要落点 |
|---|---|---|
| Attention / GEMM / EP 通信怎么加速? | FlashMLA、DeepGEMM、DeepEP、DeepSelect、pip 包
TileKernels、仓内 tilelang_ops/ |
vendor/、tilelang_ops/ |
| 怎么放大 batch、切长上下文? | Attention DP;balanced / mirror CP(只加速 prefill) | parallel_utils/;--dp /
--cp |
| Wide-EP 热专家怎么扛? | EP + EPLB:冗余副本 + 周期性重排 | model_executor/eplb/ |
| 推测解码验证算力怎么省? | DSpark + 置信度变长验证 | models/mtp/dflash.py、mtp_varlen.hpp |
| 长上下文命中后 SWA 怎么少重算? | bounded replay + YOCO compact | YOCO env、cache_engine.py |
| GPU 等 CPU 的气泡怎么挤掉? | ZOS 把 schedule/post-process 塞进 overlap | zos.cpp、worker.py |
| 评测怎么可复现?约束生成怎么做? | batch-invariant / deterministic;structured outputs | env + structure_output/ |
不要把这些入口都归到“生产内部实现”:Mega MoE 的选择与调用已在公开模型代码中,Recipe 是单独开源项目;未随包公开的是跨请求 KV 系统和服务级编排、请求级负载均衡。
五、实现解剖:从 vLLM 血统到 DeepSeek 特化
5.1 和 vLLM / SGLang / TRT-LLM 的关系
接口与对象分层保留了 vLLM 的血统,调度和模型执行则围绕 DeepSeek 的生产负载改造。 README 还致谢了 SGLang、TensorRT-LLM;不能据此把每项优化都断言为某个项目的直接移植。
- 像 vLLM 的部分:
LLM入口、LLMEngine步进、Worker / ModelRunner、paged KV block 和 Sampler。这些是理解请求生命周期的起点。 - 模型特化的部分:
model_executor/models/中的 DeepSeek 模型和内置MTP_module;重点并行形态是注意力数据并行(DP)加 MoE 专家并行(EP)。 - 与 SGLang 重叠的部分:CPU/GPU 调度重叠、约束生成。DeepInfer 把约束编译与推理执行解耦,但这不是其他引擎没有结构化输出的证据。
- 与 TensorRT-LLM 的区别:DeepInfer 用 PyTorch 组织模型与自研算子。TensorRT-LLM 当前也有 PyTorch 后端,不能把两者概括成“PyTorch 对 TensorRT 编译”;应比较具体后端的模型覆盖、设备支持、算子与服务接口。
5.2 目录与运行时分层
图 1 是运行分层,图 2
是请求流转。对着目录读时,用下面这张表定位;deepinfer/
下的相对路径不再重复包名前缀。
| 路径 | 先看什么 |
|---|---|
examples/offline_inference.py、entrypoints/llm.py |
构造 LLM、加入请求、运行到结束 |
engine/llm_engine.py、csrc/engine/scheduler.* |
请求状态、batch 选择、KV block 分配 |
worker/worker.py、worker/model_runner.py |
输入元数据、设备执行、ZOS 纠正 |
model_executor/models/、model_executor/layers/ |
注意力、MoE、MTP 与采样 |
structure_output/ |
约束编译、状态推进与 token mask |
vendor/、tilelang_ops/ |
被上述执行路径调用的设备内核 |
EngineType(engine/engine_type.py)已有
NORMAL(prefill+decode)、PROMPT(仅
prefill)、COMPLETION(仅
decode);没有视觉编码 VE
这个枚举角色。当前 offline 默认
NORMAL。P/D
的引擎接口已存在,缺的是完整服务编排,而不是等未来才写这两个角色。EngineArgs.__post_init__
按引擎类型配置 ZOS 与 multimodal pool。
5.3 推测解码路径(DSpark)
Draft 不是外挂小模型进程,而是主模型上的
MTP_module(DFlash
实现:model_executor/models/mtp/dflash.py)。流程概览:
- Draft 侧生成最多
DEEPINFER_USE_NEXTN_DECODE个 token。ConfidenceHead在采样各 draft 之前产生逐位置、累乘前的置信度预测 \(c_i\),写入MTPPredictInfo.confidence_rates。 - 调度先累乘:\(r_i =
\prod_{j=1}^{i} c_j\),把 \(r_i\)
当作整个前缀通过的概率估计、增加一个验证位置的期望收益。不是直接按原始
\(c_i\)
排序,也不是用置信度替代 target 的实际接受检验。
开启
DEEPINFER_ENABLE_MTP_VARLEN=1后,用累计率和设备耗时曲线选择验证预算与请求前缀。 - ZOS 下,CPU 也会先给出暂定的
seqlens_q;GPU 再用上一拍设备侧置信度重分配每条请求的长度,保持 CPU 选定的总预算不变。
这和系列 15:推测解码与 MTP 里的“固定 K 验证”叙事相比,关键增量是 把验证算力当成稀缺资源来调度,而不是只追平均接受长度。
下图对照固定验证 5 个 draft 与预算内前缀选择。\(d_i\) 是草稿 token,\(c_i\) 是原始置信度预测,调度用其累乘值 \(r_i\);只画符号,不编造概率样本。性能数据见 §6.1。
5.4 并行切分数据流
生产 Q&A 的推荐形状(注意:这是完整服务部署建议,不是 offline 脚本默认;且 Q&A 明确说当前生产 TP/CP 都不用):
- Prefill:在 HBM 装得下的前提下取最小 EP/DP(2–8);
- Decode:Wide-EP(64–128),用更大 EP 换专家侧更少的 per-step 访存;
- Attention:
#DP = #EP; - VE:单卡实例往往够用。
开源 examples 用 --ep / --dp / --cp
表达引擎能力。CP 是 mirror CP:每个 rank 取
prompt 的前段+后段来平衡 causal 负载,只加速
prefill;每个 rank 仍持有全量 KV,decode
不会更快。README 的 balanced CP 与 examples 的
--cp
是引擎能力/其他场景,别把它当成当前生产配方。整除约束见
§3.3(offline 与 benchmark 不同)。EPLB 则在 EP
组内复制热专家并周期性重排,避免 Wide-EP
被少数热专家拖成短板——见下图。
六、机制与代价
这一节重点看优化依赖的条件:验证预算不能破坏因果性,专家复制要付显存和迁移代价,窗口状态恢复不能替代完整 KV 服务,提前调度也必须纠正过期输入。
6.0 Kernels:看数据流,不只记库名
一次稀疏注意力不是“调用 FlashMLA”这么简单:先算 indexer 分数、选 top-k,再把逻辑索引转为物理 KV 槽位,最后执行注意力。一次 MoE 也要先分发 token、按专家分组计算、再合并结果。库之间的张量布局、量化 scale、索引与通信事件,是引擎优化的一部分。
| 环节 | 公开调用链 | 省什么、受什么约束 |
|---|---|---|
| 稀疏注意力 | index_attn.py 用 DeepGEMM 算
logits、DeepSelect 选 top-k,再转 KV
索引;attention_backend.py 调 FlashMLA |
只对选中的位置做注意力,但 indexer、top-k 和 KV 寻址仍有成本;不能把稀疏计算量直接当端到端收益 |
| 常规 MoE | mlp.py:DeepEP dispatch → 两次 DeepGEMM
grouped GEMM,中间 SwiGLU / cast → DeepEP combine |
把各专家收到的 token 分组计算;量化、token 对齐和通信 stream 都须匹配,热专家仍可能拖慢整组 |
| Mega MoE | mlp.py:mega_moe_forward() 把权重、路由和
symmetric buffer 交给 DeepGEMM mega 接口,可融合 shared
experts |
将更多阶段交给融合路径;要求支持的精度组合与 EP scale-up 域,不能预设任意拓扑都启用 |
| 周边融合与输入纠正 | pip 包 TileKernels,以及仓内
tilelang_ops/ |
承担量化、激活、KV 操作、变长调度和 ZOS 纠正等;TileLang 是编写/JIT 内核的工具,不是完整推理引擎 |
Mega MoE 的开关可直接核对:mma_type 必须是
fp8xfp4、fp8xfp8 或
bf16xbf16,且 EP 组在同一 scale-up 域;GPU
可走这些组合,非 GPU 还要求
fp8xfp4。权重需转换为 mega
布局。常规路径则显式调用 dispatch / GEMM /
combine,不能只看硬件名字判断实际选了哪条路。
这里核对的是主仓库调用与选择条件,不是 vendor 内核的逐指令审计。Q&A 还说明公开 indexer / mega 系列与内部版本存在差别,FlashMLA 少了一项手写 SASS 优化,内部 draft 模型也稍新。公开引擎来自生产体系,但不等于拿到完全相同的内部实现,更不能把文档中的内部性能视为本地构建保证。
6.1 DSpark 变长验证:前缀约束与双队列
csrc/engine/mtp_varlen.hpp
里的调度注释几乎是一篇微型设计文档:
- 必须保证后续位置的置信度不决定前面草稿是否被验证:\(c_{i+1}, c_{i+2}, \ldots\) 不能影响 \(d_i\) 的验证选择。只保留连续前缀还不够,还要避免利用未来信息做选择。
- 总预算
best_bsz(total_q)用 N−2 的累计接受率估计,不让当前 draft 的后续置信度改变预算;每条请求的seqlen_q用最新可用累计率分配。 schedule_cnt/process_cnt区分 CPU 已处理到哪一拍:非 ZOS 通常已有 N−1;ZOS CPU 可能只有 N−2,GPU 再用 N−1 信息修正长度。- CPU 历史 rate 为空时,有 draft 补
1.0、无 draft 补0.0;每请求先保留基础q=1,再分配额外验证位置。GPU 对新请求有自己的零率规则,不能把两端补值混为一谈。
累计率不增,选择长度还须处理同率排序,才能保持前缀。DFlash 的后续 confidence 可能依赖前面已采样的 draft;这解释了为什么“选连续前缀”之外,还要把总预算和当前长度分配解耦。这里描述的是实现的设计保障,不声称源码已给出完整的无偏性证明。
这延续了经典推测解码的目标:用便宜的 draft 提议、由 target 验证,保持 target 的采样分布(Leviathan 等,ICML 2023)。分布保持不等于固定 seed 下逐 token 相同;DeepInfer 的确定性采样还有 §3.4 的额外条件,也不能拿这个理论保证替近似 SWA 重放背书。
Q&A 用 EP64/DP64 benchmark 数据估算有效吞吐:动态长度把平均验证 draft 数从 5.00 降到约 3.2–4.4,平均接受长度接近;16 seqs/rank 时约 −1.5%,60 时 +5.4%,96 时约 +11%。这些是该数据与换算口径下的估计,不是独立实测的在线吞吐;并发较低时也可能亏。
6.2 EPLB:logical → physical,再周期性 shuffle
model_executor/eplb/__init__.py 的
ExpertLoadBalancer 把状态摊开得很干净:
expert_count:每层每个 local physical expert 的 token 计数;physical_to_logical_map/logical_to_physical_map:放置关系;resolve_num_extra_experts():在下限之上向上取整,使num_routed + extra能被ep_size整除;- 重排后搬权重:GPU 且
PG.is_within_nvl_domain(ep_group)时走symm_mem/IPC,否则走batch_isend_irecv(P2P)。条件是 EP 组位于同一 NVLink / scale-up 域,不能简单等同于“同一台机器”;域的判定委托给 DeepEP。 - 周期重排间隔引擎默认 0;examples 启用 EPLB 时直接设为 30、统计窗口设为 3,还启用 NORMAL 的 prefill 后重排。后者可在转入非 prefill 步时触发,并非永远每 30 步才重排。
Router 仍选择逻辑专家,副本保持相同权重;变化的是 token 落到哪个物理槽位。物理槽位总数为 routed experts 加 extra experts,再均分到 EP ranks。复制能缓解热专家拥塞,但要多放权重、采集负载并搬迁权重;重排太频繁会吞掉收益。
生产 Q&A 的 EP64 示例中,取整后 7/GPU
是每卡全部物理 routed 专家的数量,含原始专家和副本,不是每卡
7 个冗余专家;shared experts 另算。Prefill/Decode
的冗余量、重排周期和 moe_lb(最慢 rank /
均值)是运维取舍,不能把这组生产参数当作 examples
默认值。
6.3 SWA bounded replay 与 YOCO compact
长前缀的 block KV 命中了,不代表滑动窗口状态也命中。完整重算所有窗口层可能很贵;Q&A 的策略是只重放尾部 128 个 token,近似恢复 SWA,而不是声称和完整前向等价。
为什么是近似?若重放从位置 \(s\) 开始,位置 \(i\) 只能看到 \(\max(s, i-127)\) 到 \(i\) 的 keys;原来窗口中落在 \(s\) 之前的部分不再可见,多层传播也会受影响。Q&A 区分两条路径:
- Encoder SWA:命中长度由 block KV 决定;SWA 缺失时再退回 128 个 token,与未缓存后缀一起重放。重放只恢复 SWA,已命中的 block KV 复用、不重算也不覆盖。
- YOCO consumer / Decoder SWA:每次 prefill 都走有界尾部计算,不只是 SWA cache miss 时触发。decoder block KV 由最后 encoder hidden state 投影生成;Q&A 估计其 20 层精确恢复需重算 2560 个 token,因此改用末尾 128 个 token 近似恢复。这份近似状态只供 decode,不进入 prefix cache。
上面是生产 Q&A 的两条恢复规则;公开
compact 旋钮直接对应 consumer
截断,不能据此认定完整 encoder
跨请求命中、回退与存储编排也已开源。
开源引擎的 YOCO consumer 截断旋钮是:
export DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
export DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140KEEP_TOKENS 默认
0;开启截断必须显式设置,且满足
KEEP_TOKENS >= window_size + DEEPINFER_MAX_BACKTRACKING_TOKENS。compact
缩短 consumer 层实际计算的 token 数;mask
保留计算,只对齐可见域,用于数值对照。140 是 V4.1
的推荐值,不是可以套到所有模型的常数;benchmark 要用 §3.3 的
CLI 配置。
cache_engine.py:StateBlock 的 stored /
dropped
是存储导出边界,不是运行时生死边界:stored
为需导出的 SWA;dropped 包含 YOCO consumer SWA 和
compression state,运行时仍须保留,P→D
传输也包含两区。consumer SWA 依赖 prefill 重算;compression
state
不落盘是因为没有跨对齐存储边界的依赖,不能笼统说两者都可扔掉、靠
128-token 重放恢复。
这个“有界”只限定固定模型、层数和窗口下的额外局部重放,不限定整段
block KV 的加载量,也不限定未缓存 prompt 的 prefill
工作;逐层计算仍有层数成本。compact
下相关 KV 分支仍处理完整输入的投影、压缩或写入,不能把全部
consumer 工作理解为只剩 140 个 token。Q&A
的最大命中位置为 \(L-134\)(128 窗口加 6
的回退余量),还要按 block 对齐。生产 SWA 放在本地 host
memory、单副本、不上 3FS;paged block KV 才进入专用 3FS
集群。跨请求命中匹配、SWA 目录和存储服务仍在未开源 KV
系统中;源码里的 state_size_to_disk
名称不是“SWA 存在 3FS”的证据。
6.4 ZOS:把 schedule/post-process 塞进 GPU 气泡
同步路径里,当前采样完成后,CPU 才处理结果、排下一批;GPU 可能在等待这些工作时空转。ZOS 的关键顺序是:先调度并提交新 forward,再处理旧结果,最后提交新 sample。把后处理放到新 forward 的设备计算期间,而不是简单地把所有 CPU 工作挤在启动前。
提前一拍时,CPU 尚不知道实际接受了几个 draft,怎样避免算错下一批?源码给出了一条纠正链路:
- Engine / Scheduler
选择批次,按最大投机步长乐观预留输入范围;
zos.cpp按请求 ID 建立与上一批的remap。 - Worker 在设备上用上一拍原始 confidence 修正
q,总预算不变;再用实际接受 draft 数修正 KV 长度,撤销未接受 draft 的乐观增量。 - token 输入从上一拍 GPU 采样结果取得:首 token 是 sampled/golden token,后面接新 draft 前缀;随后重建位置、累计偏移与 cache slot 元数据。不是 CPU 猜 token。
- 新 forward 已提交后,CPU 处理旧结果;变长
q回传后刷新 CPU sampling metadata,再提交当前 sample。
主要落点为
csrc/engine/zos.cpp、worker/worker.py:_correct_seqlens_qk()、gather_input_ids_zos.py
和
prepare_tensor_input_zos.py。NORMAL
/ COMPLETION 默认将 ZOS setdefault
为 1。“zero overhead”是隐藏调度开销的目标,不是没有 CPU
成本或同步;采样完成事件、变长长度回传仍须等待。
在 ZOS 稳态 decode 中,一次
step 通常返回上一拍结果;首拍可能为空,prompt
步不适用这个简单对应。尾部在途结果由
flush_inflight_reqs() 收尾。N−1 / N−2 的 rate
会计正是这种流水滞后的后果。
下图对照同步路径的 GPU 空等与 ZOS 流水重叠。
6.5(加餐)Batch-invariant 与 structured output 的工程味道
- Batch-invariant(
DEEPINFER_BATCH_INVARIANT=1,NVIDIA):让不同 batch 拼法下数值一致,服务于 offline PPL 回归(tests/models/offline_decode_ppl.json)。runtime_config.py里对 NPU 还有“防 CI 数值不稳”的特殊分支——双后端现实立刻露出来。 - Structured
output:编译与推理解耦(
structure_output/so_matcher_builder.py);请求进引擎前拿编译结果;decode 步进里推进 grammar automaton,再在 sampler 应用 mask。这和“把 JSON mode 塞进 prompt 里求好运”不在同一个工程等级。
七、选型:先过门槛,再做对照
本节给出工程选择顺序,不做同硬件吞吐排名。EPLB、结构化输出、异步调度和推测解码并非 DeepInfer 独有;其他引擎也在演进,不能凭一份功能表判断谁更快。系列 13 可作产品背景,具体后端和版本仍以各项目当前文档为准。
7.0 四个入口,不是四档排名
下图按主要约束分路:研究官方 V4.1-Flash 实现且有匹配硬件,评估 DeepInfer offline;建设通用 API 服务,把 vLLM / SGLang 放进候选集;已围绕 NVIDIA 栈做部署,再加入 TensorRT-LLM。前缀复用和约束生成可以作为 SGLang 的评估重点,但不是它独占的能力。每条路都要再检查模型、后端与服务接口是否满足要求。
现实里多数团队会走重叠路径:现网继续 vLLM / SGLang,DeepInfer 当源码与配方对照——不是二选一替换。
7.1 最值得借鉴的实现
| 实现 | 可核对的依据 | 适合做什么对照 |
|---|---|---|
| V4.1-Flash 专用运行时 | README 支持名单与模型源码 | 核对 checkpoint、tokenization、采样行为,而非宣称 API 完全一致 |
| kernels + EP/EPLB | 算子调用与 eplb/ |
热专家复制是否抵得过冗余显存、通信与重排开销 |
| DSpark 变长验证 | dflash.py、mtp_varlen.hpp |
相同请求、采样设置下比较固定与变长验证 |
| SWA / YOCO 状态恢复 | cache_engine.py 与截断配置 |
命中前缀后需要恢复哪些状态、重放多少 token |
| ZOS | zos.cpp 与 Worker 纠正路径 |
CPU/GPU 重叠能否减少空等,延迟返回是否正确收尾 |
| 双后端 | SM100 / Ascend 950 的 Platform 分支 | 看清公共接口下哪些算子和通信仍需设备特化 |
它的独特价值是官方实现可审计,不是未经对照就断言某个功能比社区引擎更强。
7.2 采用前要补的条件
| 条件或缺口 | 表现 | 工程含义 |
|---|---|---|
| 开源不等于完整服务 | KV、E/P/D 编排、Prefill/Decode DP LB 未开源;VE LB 仅见 Q&A | 不能 pip install 复制 155T/day |
| 模型支持范围窄 | 公开支持名单为 DeepSeek-V4.1-Flash | 不能预设它满足多模型或多 LoRA 服务需求 |
| 硬件门槛高 | SM100(CUDA 13)/ Ascend 950(CANN 9.2) | A100/H100/消费卡难当真跑通 |
| 形态是 offline | 入口 offline_inference.py |
无开箱 OpenAI Server / K8s 全家桶 |
| 本文没有独立横评 | 引用的吞吐数字均为厂商口径 | 容量规划不能直接抄 Q&A |
| 集成工作量 | release 重心是引擎和离线示例 | 在线协议、存储、调度与运维需要另行集成 |
骨架仍像 vLLM、调度 overlap 吸收了 SGLang 一类思路(§5.1),所以「读得懂」不等于「能替换」。
7.3 和其他方案怎么放一起看
图 10 列出各方案“先检查什么”,不把不同产品形态混成一张排行榜。
- vLLM / SGLang:两者都提供在线服务入口,适合先验证模型覆盖、API 协议、前缀复用、约束生成和运维集成。DeepInfer 的这些服务周边没有随引擎一起公开;比较必须把补齐周边的工作量算进去。
- TensorRT-LLM:核对版本的官方文档介绍的是 PyTorch 原生架构,不能用“必须先编译 plan”概括它。评估时应检查所用后端、模型、量化、设备和 serving 支持,而不是把“编译复杂度”一概当作劣势。
- 昇腾及其他方案:MindIE、vLLM-Ascend 等需按具体设备代际和软件版本核查;DeepInfer 支持 Ascend 950 不等于整个昇腾生态只能选它。LMDeploy 等也可进入候选集,本篇不扩展成全引擎横评。
这些判断只比较公开产品形态。实际压测要固定 checkpoint、输入/输出长度分布、采样、KV 命中率、并行拓扑和延迟目标,再比较满足 SLO 的吞吐。不要把离线 tokens/s 与在线可服务容量直接相除。
7.4 谁值得投入,谁应先保留现网
更适合认真跟进 DeepInfer 的人:
- DeepSeek-V4.1-Flash 的私有化 / 专有云部署(叠加 Recipe 才谈 API 行为一致);
- 做 MoE + Wide-EP + 推测解码的引擎研发(EPLB / MTP varlen / ZOS 当参考实现);
- 国产加速器团队(Ascend 950 与 NVIDIA 共用抽象);
- 写评测与对齐的人(batch-invariant + 固定 seed)。
什么时候还不如继续用 vLLM / SGLang(或 TRT-LLM):
- 多模型、多 LoRA、通用 HuggingFace 生态;
- 只有 A100/H100/消费卡——硬件门槛不匹配;
- 要开箱 OpenAI Server / K8s 全家桶——回 21 与 13;
- 需要跨请求 prefix cache 立刻打满命中率——KV 系统未开源。
7.5 四条采用路径(可并行)
不必先决定换引擎。可以同时读源码、研究生产参数、维持现网;只有模型与硬件匹配时,再走离线验证这条路。离线跑通之后,在线服务仍是另一个建设项目。
务实顺序:
- 路径 A:Explain 站 “life of a request”
→
llm_engine → scheduler → worker → dflash → sampler。 - 路径 B:从 Q&A 提炼对照实验:观察专家负载、固定/变长验证和状态恢复开销。没有匹配硬件时先研究机制,不把生产参数照搬进现网。
- 路径 C:在匹配硬件上构建并跑
offline,再分别切换 EPLB、MTP varlen、YOCO compact(显式设
KEEP_TOKENS),检查数值、输出和耗时;不要一次打开所有优化后只看总吞吐。 - 路径 D:现网继续用满足需求的社区引擎;KV、E/P/D、请求级 LB 和网关单独规划。成本背景见 27,推测解码背景见 15。
八、小结
DeepInfer 让官方引擎的几笔账可以逐项核对:专家复制换负载均衡,置信度调度少做低收益验证,YOCO 少重建窗口状态,ZOS 用设备侧纠正换取 CPU/GPU 重叠。这些优化都带条件,不能只看功能名或最终吞吐。
最值得带走的边界是:引擎内已有实现,不等于在线服务已经齐备;官方公布营收和规模,也不等于公布了你的成本模型。 在匹配硬件上验证一项机制,再决定是否采用;没有匹配硬件,读源码仍有价值,现网不必因此换掉。
交叉阅读:
- 11:推理基础
- 12:PagedAttention 与 Continuous Batching
- 13:vLLM / SGLang / TRT-LLM 对比
- 15:推测解码与 MTP
- 26:DeepSeek-V4 与国产芯片
- 27:DeepSeek-V4 的极致性价比从哪来
- 系列目录
参考:固定版本的一手入口
DeepInfer 以下链接均固定到
5537415,避免后续更新改变本文的参数含义。
- README:支持范围、构建、开源边界
- 部署 Q&A:规模与营收、并行、KV、DSpark、ZOS——生产数字均引用此文,非独立复现。
- examples/README.md、offline_inference.py、_config.py——命令、并行约束与示例默认配置。
- mtp_varlen.hpp、dflash.py——变长验证与置信度。
- eplb/init.py——专家映射、重排与权重迁移。
- mlp.py、index_attn.py、attention_backend.py——常规 / Mega MoE、indexer、top-k 与 FlashMLA 调用。
- benchmark.py、plot_pareto.py——强制均衡、YOCO CLI、计时与接受率换算口径。
- cache_engine.py、model_runner.py——StateBlock 与 YOCO 截断。
- zos.cpp、worker.py——提前调度输入准备与设备侧纠正。
- deepseek-recipe——并列开源的协议与 tokenization 组件,不是 DeepInfer 内的完整服务层。
机制背景与比较口径:
- Leviathan、Kalman、Matias,Fast Inference from Transformers via Speculative Decoding,ICML 2023,PMLR 202。经典目标是保持 target 的采样分布,不等于固定 seed 下逐位相同。
- TensorRT-LLM README
与 Architecture
Overview(
3d10fbf,2026-10-31 核对)——PyTorch 原生架构与异步执行,不能概括为仅有 TensorRT plan 路径。 - vLLM
README(
7b77ed5)、SGLang README(8368f86),2026-10-31 核对服务形态和硬件支持;本文不据此给出性能排名。 - DeepInfer Explained——二手源码导航,具体行为以上述固定版本源码为准。
源码下载
本文相关源码已整理,共 1 个文件。
文章导航
读完这篇,下一步读什么
优先读同系列或同问题的下一篇,把单篇消费变成主题集群。
【大模型基础设施工程】13:vLLM / SGLang / TensorRT-LLM / TGI 对比
主流推理引擎的架构、性能、生态深度对比,给出工程选型与落地决策依据。
【大模型基础设施工程】15:推测解码与 MTP
从经典 Speculative Decoding 到 Medusa、EAGLE、Lookahead、MTP 与自推测——系统梳理让大模型"一次多吐几 token"的工程方法与引擎支持
【大模型基础设施工程·特别篇】DeepSeek-V4 与国产芯片:从备份路线到主路径
DeepSeek-V4 发布后,如果国产芯片已经支撑旗舰模型的关键训练或推理链路,它会怎样影响 NVIDIA 生态、国产 AI 芯片、云厂商、模型团队和工程师的技术选择?
【大模型基础设施工程·特别篇】27:DeepSeek-V4 的极致性价比从哪来
从 MoE 激活比、CSA/HCA 混合注意力、mHC、Muon,到磁盘级 KV cache、FP4 QAT 和专家蒸馏,系统拆解 DeepSeek-V4 为什么能把 1M 上下文和强 Agent 能力做得又强又便宜。