DeepInfer 深度解析——DeepSeek 生产推理引擎开源了什么

第 28/31 篇

系列目录 27 DeepSeek-V4 的极致性价比…29 推理框架详解——为啥需要、做什么、底…

TL;DR

目录

如果你正在用 vLLM 或 SGLang 跑 DeepSeek 模型,看到官方开源 DeepInfer,第一个问题多半是:能直接换上它,复现官方服务吗?不能。这次公开的是离线推理引擎,不是整套在线服务。

但它仍值得拆开读。README 说这个引擎支撑 DeepSeek 的大规模生产服务;现在,混合专家(MoE)的放置、推测解码验证、滑动窗口注意力(SWA)的状态恢复和 CPU/GPU 异步调度都有代码可查。本文沿一条请求的运行路径,解释这些优化省的是哪笔开销、付出了什么代价,以及开源包外还缺什么。

源码基线为 commit 553741557a57df44a46fb3ab72b6aafeaf945337(下文简称 5537415)。本文核对了 README、examples/、doc/inference_deployment_qa.md 和引擎源码;社区站点 DeepInfer Explained 只作阅读导航,不替代一手证据。未在 NVIDIA SM100 / 昇腾 Ascend 950 上执行构建或推理;生产规模和性能数字均引用 DeepSeek 自述,不代表独立复现。

下图区分用户入口、调度器、设备执行与算子库。Platform 是横跨设备执行的后端抽象,并不是最后再执行的一层;跨请求 KV 系统和在线服务编排在图外。图可点击打开原图,窄屏时可放大查看;长表格可横向滑动。

DeepInfer 运行时分层

〇、30 秒版

  1. DeepInfer = DeepSeek 生产推理引擎的开源切片:主模型目前是 DeepSeek-V4.1-Flash;硬件是 NVIDIA SM100(CUDA 13)和华为 Ascend 950(CANN 9.2);入口是 examples/offline_inference.py。
  2. 增量不在“再包一层 vLLM”,而在 kernels、注意力数据并行(DP)+ 上下文并行(CP)、专家并行(EP)+ 专家并行负载均衡(EPLB)、DSpark 置信度调度、SWA bounded replay、零开销异步调度(ZOS),以及 batch-invariant / structured outputs。
  3. 诚实边界:README 列了三项 not included——跨请求 KV、VE/Prefill/Decode 分离编排、Prefill/Decode 的 DP 负载均衡;Q&A 还列了 VE Load Balancer(同样未开源)。引擎里已有部分 hook,但服务周边不在这个包里。
  4. 怎么用:空 Python 3.12 环境 → export DEEPINFER_ACCELERATOR=nvidia|ascend → ./build.sh → python examples/offline_inference.py。没有 SM100 / Ascend 950,很难当真跑通;这时它的价值是源码教材,不是替换你现网的 vLLM/SGLang。
  5. 和系列的关系:机制看 11 / 12;引擎选型看 13;多 token 预测(MTP)看 15;V4 架构与成本看 26 / 27。本篇回答:DeepSeek 自己线上那套引擎,开出来长什么样——以及它相对 vLLM / SGLang / TensorRT-LLM 的优势、劣势与多条采用路径(§7)。

一、开篇:为什么值得基础设施工程师读

读模型报告,通常能知道为什么需要 MLA、MoE 或 MTP,却不知道一次请求里谁负责分配缓存、谁决定验证多少草稿、谁处理拒绝后的回退。DeepInfer 的价值是让设计意图能和 schedule()、forward()、sample() 对上。

它也不是从零另起炉灶。README 的 Acknowledgments 写明:引擎最初主要基于 vLLM,并吸收了 SGLang、TensorRT-LLM 的思路;部分文件保留了 vLLM 衍生声明。读源码时可以先抓住三个区别:

部署 Q&A(doc/inference_deployment_qa.md)给出了生产规模:单集群约 155 万亿 token/天,按谷价折算的整体营收约 38 美元/卡时。两者都是 DeepSeek 自述。token 总量不是输出吞吐;营收更不是 GPU 成本或利润,不能据此倒推出你的服务单价或投资回报。

二、定位与边界:开了什么,没开什么

2.1 开源包边界一览

维度 开了什么 / 没开什么 来源
模型 DeepSeek-V4.1-Flash(默认 HF:deepseek-ai/DeepSeek-V4.1-Flash-1017) README
形态 Offline inference(脚本喂 prompts,拿回 outputs) README
硬件 NVIDIA SM100;Huawei Ascend 950 README
并行 / 解码 / 长上下文 / 调度 EP+EPLB、DP/CP、DSpark、YOCO/SWA、ZOS、structured outputs、batch-invariant README + 源码
完整服务周边 KV 系统、E/P/D 编排、Prefill/Decode DP LB:未开源;VE LB:Q&A 有,仓库无 README / Q&A
许可 主仓库代码 Apache-2.0;模型权重和各依赖需分别核查许可 README / LICENSE

不要把“仓库里的代码”理解成全部算子都写在 deepinfer/ 中。模型与调度主体在 deepinfer/ 和 csrc/,部分设备内核由 vendor/ 子模块提供,还有 pip 依赖 TileKernels 与仓内 tilelang_ops/。读主仓库可以核对调用关系;要核对某个内核的完整实现,还需取得对应依赖及其固定版本。

2.2 完整在线服务还缺什么

README 列了三项 Required for a complete inference service (not included):

  1. A KV cache system——跨请求复用、存储与命中匹配。生产侧 paged block KV 使用专用 3FS 集群,SWA 则存本地 host memory;不是所有状态都往 3FS 写(§6.3)。
  2. VE / Prefill / Decode disaggregation——视觉编码、prefill、decode 分服务部署;README 说引擎侧“most required engine functionality is already implemented”,但服务编排与入口不在本包。
  3. Load balancing across data-parallel replicas for both prefill and decode——README 明文写的是 Prefill / Decode 的 DP 级负载均衡。VE Load Balancer 见 Q&A(同样未开源)。注意:专家并行的 EPLB 已在引擎内;缺的是跨 replica 的请求级 LB。

另外,协议层的 deepseek-recipe 是并列开源的 tokenization / API 对齐组件,也不在 DeepInfer 仓库内。

下图把开源引擎和缺失周边分开;底部 38 美元/卡时标的是 Q&A 的营收,不是成本。Recipe 是另一个已开源项目,不应和未开源组件混为一栏。

开源 vs 生产边界

读法建议:源码说明引擎内实现,Q&A 说明生产部署设计。两者结合能解释关键取舍,但公开文档不等于拿到了整套线上系统,也不足以保证复现官方规模。

三、如何使用:可跑通路径与现实门槛

3.1 环境前提

官方 Prerequisites:

这不是“笔记本也能玩”的门槛。SM100 / Ascend 950 决定了:多数读者第一天的收获是读代码和跟 examples,而不是在自家 H100 上对拍 README Pareto。

硬件与并行能力见下图:双后端共用 Platform 抽象;生产 Q&A 说当前 TP/CP 暂不用,CP 能力主要在引擎 / examples 侧。

硬件与并行

3.2 Build

# 必须先 export;ascend 平台改成 ascend
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

build.sh 按 DEEPINFER_ACCELERATOR 安装 requirements-*.txt;NVIDIA 路径重装 nvidia-nccl-cu13==2.32.3,随后编译 vendor 子模块和 DeepInfer 本体。按 README 保持该变量与目标设备一致,但不要混淆构建和运行时:platform.py:get_platform() 实际调用 deep_cluster.hardware.accelerator_kind() 探测硬件,再选择 GPU / NPU Platform,并非只看这个环境变量。

3.3 Offline inference

python examples/offline_inference.py
python examples/offline_inference.py --ep 8
python examples/offline_inference.py --ep 2 --dp 8
python examples/offline_inference.py --ep 2 --cp 8

要点(来自 examples/README.md 与 _config.py):

Benchmark / Pareto 入口是 examples/benchmark.py 与 examples/sweep/run_sweep.sh。官方 README 的 prefill 图使用 4×SM100,decode 图使用 64×SM100(同一 scale-up domain);这是厂商测量条件,不是你的集群保证。读数之前还要检查三个口径:

  1. benchmark 强制 DEEPINFER_FORCE_LOAD_BALANCE=1,测的是理想专家路由均衡下的执行能力,不能直接代表真实热专家负载。
  2. decode tokens/s 按所有 draft 都接受计数,不是实测的有效输出吞吐;Pareto 脚本再用外部给定的接受率换算,且拒绝 MTP_VARLEN=1 的结果。变长验证应另做对照,不能直接塞进同一绘图流程。
  3. YOCO 配置由 CLI 无条件覆盖环境:不用 --yoco_clip 就是 off;裸给该选项等于保留 140 个 token,--yoco_clip_mask 做相同可见域的 mask 对照。仅导出本节后面的 YOCO 环境变量,对这个脚本无效。PROFILE 默认 1,trace 采集与稳态计时分开;不要拿 profiler 窗口当稳态吞吐。

下图是一条 offline 请求从 prompt 到 RequestOutput 的路径;开启 ZOS 时,CPU 在 GPU 跑 forward(N)/sample(N) 的同时预排下一拍。

Offline 请求路径

3.4 关键环境变量速查

变量集中定义在 deepinfer/environ.py。布尔值接受 0/1/true/false(大小写不敏感,空串为 false),非法值报错。引擎默认值不等于 examples 最终配置:setdefault 保留已导出的值,os.environ[...] = ... 则直接覆盖;示例两种写法都有,应检查具体脚本。

变量 作用
DEEPINFER_ACCELERATOR nvidia / ascend
DEEPINFER_HF_MODEL_DIR 参数值等于默认模型 id 时,替换为本地路径
DEEPINFER_USE_NEXTN_DECODE 最大 draft 长度,默认 5;显式 0 关投机
DEEPINFER_ENABLE_MTP_VARLEN 打开置信度变长验证调度
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE off / mask / compact;V4.1 建议 compact
DEEPINFER_YOCO_PREFILL_KEEP_TOKENS 默认 0;启用 truncation 时必须显式设置,V4.1 建议 140
DEEPINFER_ZERO_OVERHEAD_SCHEDULING ZOS;NORMAL/COMPLETION 默认 setdefault 为 1
DEEPINFER_BATCH_INVARIANT 跨 batch 组成数值不变(NVIDIA)
DEEPINFER_OVERRIDE_NUM_EXTRA_EXPERTS EPLB 冗余专家下限
DEEPINFER_EXPERT_COUNT_WINDOW_SIZE 专家统计窗口;引擎默认 100,_config.py 直接设为 3
DEEPINFER_EXPERT_REARRANGEMENT_STEP_INTERVAL 周期重排间隔;引擎默认 0,examples 启用 EPLB 时直接设为 30
DEEPINFER_REARRANGE_AFTER_PREFILL_IN_NORMAL_ENGINE NORMAL 的 prefill 后重排;examples 启用 EPLB 时直接设为 1

Deterministic sampling(README):DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0,并向 SamplingParams 传固定 seq_seed(NVIDIA only)。

Structured outputs:SamplingParams(..., so_args={"schema_type": ..., "schema": ...}),见 examples/_structured_output.py;运行时走 structure_output/(xgrammar 相关 env:DEEPINFER_XGRAMMAR_*)。

四、从问题定位代码

如果只想先读一条路径,从自己的瓶颈选入口。机制和代价见第六节。

你在问什么 机制一句话 主要落点
Attention / GEMM / EP 通信怎么加速? FlashMLA、DeepGEMM、DeepEP、DeepSelect、pip 包 TileKernels、仓内 tilelang_ops/ vendor/、tilelang_ops/
怎么放大 batch、切长上下文? Attention DP;balanced / mirror CP(只加速 prefill) parallel_utils/;--dp / --cp
Wide-EP 热专家怎么扛? EP + EPLB:冗余副本 + 周期性重排 model_executor/eplb/
推测解码验证算力怎么省? DSpark + 置信度变长验证 models/mtp/dflash.py、mtp_varlen.hpp
长上下文命中后 SWA 怎么少重算? bounded replay + YOCO compact YOCO env、cache_engine.py
GPU 等 CPU 的气泡怎么挤掉? ZOS 把 schedule/post-process 塞进 overlap zos.cpp、worker.py
评测怎么可复现?约束生成怎么做? batch-invariant / deterministic;structured outputs env + structure_output/

不要把这些入口都归到“生产内部实现”:Mega MoE 的选择与调用已在公开模型代码中,Recipe 是单独开源项目;未随包公开的是跨请求 KV 系统和服务级编排、请求级负载均衡。

五、实现解剖:从 vLLM 血统到 DeepSeek 特化

5.1 和 vLLM / SGLang / TRT-LLM 的关系

接口与对象分层保留了 vLLM 的血统,调度和模型执行则围绕 DeepSeek 的生产负载改造。 README 还致谢了 SGLang、TensorRT-LLM;不能据此把每项优化都断言为某个项目的直接移植。

5.2 目录与运行时分层

图 1 是运行分层,图 2 是请求流转。对着目录读时,用下面这张表定位;deepinfer/ 下的相对路径不再重复包名前缀。

路径 先看什么
examples/offline_inference.py、entrypoints/llm.py 构造 LLM、加入请求、运行到结束
engine/llm_engine.py、csrc/engine/scheduler.* 请求状态、batch 选择、KV block 分配
worker/worker.py、worker/model_runner.py 输入元数据、设备执行、ZOS 纠正
model_executor/models/、model_executor/layers/ 注意力、MoE、MTP 与采样
structure_output/ 约束编译、状态推进与 token mask
vendor/、tilelang_ops/ 被上述执行路径调用的设备内核

EngineType(engine/engine_type.py)已有 NORMAL(prefill+decode)、PROMPT(仅 prefill)、COMPLETION(仅 decode);没有视觉编码 VE 这个枚举角色。当前 offline 默认 NORMAL。P/D 的引擎接口已存在,缺的是完整服务编排,而不是等未来才写这两个角色。EngineArgs.__post_init__ 按引擎类型配置 ZOS 与 multimodal pool。

5.3 推测解码路径(DSpark)

Draft 不是外挂小模型进程,而是主模型上的 MTP_module(DFlash 实现:model_executor/models/mtp/dflash.py)。流程概览:

  1. Draft 侧生成最多 DEEPINFER_USE_NEXTN_DECODE 个 token。ConfidenceHead 在采样各 draft 之前产生逐位置、累乘前的置信度预测 \(c_i\),写入 MTPPredictInfo.confidence_rates。
  2. 调度先累乘:\(r_i = \prod_{j=1}^{i} c_j\),把 \(r_i\) 当作整个前缀通过的概率估计、增加一个验证位置的期望收益。不是直接按原始 \(c_i\) 排序,也不是用置信度替代 target 的实际接受检验。 开启 DEEPINFER_ENABLE_MTP_VARLEN=1 后,用累计率和设备耗时曲线选择验证预算与请求前缀。
  3. ZOS 下,CPU 也会先给出暂定的 seqlens_q;GPU 再用上一拍设备侧置信度重分配每条请求的长度,保持 CPU 选定的总预算不变。

这和系列 15:推测解码与 MTP 里的“固定 K 验证”叙事相比,关键增量是 把验证算力当成稀缺资源来调度,而不是只追平均接受长度。

下图对照固定验证 5 个 draft 与预算内前缀选择。\(d_i\) 是草稿 token,\(c_i\) 是原始置信度预测,调度用其累乘值 \(r_i\);只画符号,不编造概率样本。性能数据见 §6.1。

DSpark 置信度调度

5.4 并行切分数据流

生产 Q&A 的推荐形状(注意:这是完整服务部署建议,不是 offline 脚本默认;且 Q&A 明确说当前生产 TP/CP 都不用):

开源 examples 用 --ep / --dp / --cp 表达引擎能力。CP 是 mirror CP:每个 rank 取 prompt 的前段+后段来平衡 causal 负载,只加速 prefill;每个 rank 仍持有全量 KV,decode 不会更快。README 的 balanced CP 与 examples 的 --cp 是引擎能力/其他场景,别把它当成当前生产配方。整除约束见 §3.3(offline 与 benchmark 不同)。EPLB 则在 EP 组内复制热专家并周期性重排,避免 Wide-EP 被少数热专家拖成短板——见下图。

EP + EPLB

六、机制与代价

这一节重点看优化依赖的条件:验证预算不能破坏因果性,专家复制要付显存和迁移代价,窗口状态恢复不能替代完整 KV 服务,提前调度也必须纠正过期输入。

6.0 Kernels:看数据流,不只记库名

一次稀疏注意力不是“调用 FlashMLA”这么简单:先算 indexer 分数、选 top-k,再把逻辑索引转为物理 KV 槽位,最后执行注意力。一次 MoE 也要先分发 token、按专家分组计算、再合并结果。库之间的张量布局、量化 scale、索引与通信事件,是引擎优化的一部分。

环节 公开调用链 省什么、受什么约束
稀疏注意力 index_attn.py 用 DeepGEMM 算 logits、DeepSelect 选 top-k,再转 KV 索引;attention_backend.py 调 FlashMLA 只对选中的位置做注意力,但 indexer、top-k 和 KV 寻址仍有成本;不能把稀疏计算量直接当端到端收益
常规 MoE mlp.py:DeepEP dispatch → 两次 DeepGEMM grouped GEMM,中间 SwiGLU / cast → DeepEP combine 把各专家收到的 token 分组计算;量化、token 对齐和通信 stream 都须匹配,热专家仍可能拖慢整组
Mega MoE mlp.py:mega_moe_forward() 把权重、路由和 symmetric buffer 交给 DeepGEMM mega 接口,可融合 shared experts 将更多阶段交给融合路径;要求支持的精度组合与 EP scale-up 域,不能预设任意拓扑都启用
周边融合与输入纠正 pip 包 TileKernels,以及仓内 tilelang_ops/ 承担量化、激活、KV 操作、变长调度和 ZOS 纠正等;TileLang 是编写/JIT 内核的工具,不是完整推理引擎

Mega MoE 的开关可直接核对:mma_type 必须是 fp8xfp4、fp8xfp8 或 bf16xbf16,且 EP 组在同一 scale-up 域;GPU 可走这些组合,非 GPU 还要求 fp8xfp4。权重需转换为 mega 布局。常规路径则显式调用 dispatch / GEMM / combine,不能只看硬件名字判断实际选了哪条路。

这里核对的是主仓库调用与选择条件,不是 vendor 内核的逐指令审计。Q&A 还说明公开 indexer / mega 系列与内部版本存在差别,FlashMLA 少了一项手写 SASS 优化,内部 draft 模型也稍新。公开引擎来自生产体系,但不等于拿到完全相同的内部实现,更不能把文档中的内部性能视为本地构建保证。

6.1 DSpark 变长验证:前缀约束与双队列

csrc/engine/mtp_varlen.hpp 里的调度注释几乎是一篇微型设计文档:

累计率不增,选择长度还须处理同率排序,才能保持前缀。DFlash 的后续 confidence 可能依赖前面已采样的 draft;这解释了为什么“选连续前缀”之外,还要把总预算和当前长度分配解耦。这里描述的是实现的设计保障,不声称源码已给出完整的无偏性证明。

这延续了经典推测解码的目标:用便宜的 draft 提议、由 target 验证,保持 target 的采样分布(Leviathan 等,ICML 2023)。分布保持不等于固定 seed 下逐 token 相同;DeepInfer 的确定性采样还有 §3.4 的额外条件,也不能拿这个理论保证替近似 SWA 重放背书。

Q&A 用 EP64/DP64 benchmark 数据估算有效吞吐:动态长度把平均验证 draft 数从 5.00 降到约 3.2–4.4,平均接受长度接近;16 seqs/rank 时约 −1.5%,60 时 +5.4%,96 时约 +11%。这些是该数据与换算口径下的估计,不是独立实测的在线吞吐;并发较低时也可能亏。

6.2 EPLB:logical → physical,再周期性 shuffle

model_executor/eplb/__init__.py 的 ExpertLoadBalancer 把状态摊开得很干净:

Router 仍选择逻辑专家,副本保持相同权重;变化的是 token 落到哪个物理槽位。物理槽位总数为 routed experts 加 extra experts,再均分到 EP ranks。复制能缓解热专家拥塞,但要多放权重、采集负载并搬迁权重;重排太频繁会吞掉收益。

生产 Q&A 的 EP64 示例中,取整后 7/GPU 是每卡全部物理 routed 专家的数量,含原始专家和副本,不是每卡 7 个冗余专家;shared experts 另算。Prefill/Decode 的冗余量、重排周期和 moe_lb(最慢 rank / 均值)是运维取舍,不能把这组生产参数当作 examples 默认值。

6.3 SWA bounded replay 与 YOCO compact

长前缀的 block KV 命中了,不代表滑动窗口状态也命中。完整重算所有窗口层可能很贵;Q&A 的策略是只重放尾部 128 个 token,近似恢复 SWA,而不是声称和完整前向等价。

为什么是近似?若重放从位置 \(s\) 开始,位置 \(i\) 只能看到 \(\max(s, i-127)\) 到 \(i\) 的 keys;原来窗口中落在 \(s\) 之前的部分不再可见,多层传播也会受影响。Q&A 区分两条路径:

上面是生产 Q&A 的两条恢复规则;公开 compact 旋钮直接对应 consumer 截断,不能据此认定完整 encoder 跨请求命中、回退与存储编排也已开源。

开源引擎的 YOCO consumer 截断旋钮是:

export DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
export DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140

KEEP_TOKENS 默认 0;开启截断必须显式设置,且满足 KEEP_TOKENS >= window_size + DEEPINFER_MAX_BACKTRACKING_TOKENS。compact 缩短 consumer 层实际计算的 token 数;mask 保留计算,只对齐可见域,用于数值对照。140 是 V4.1 的推荐值,不是可以套到所有模型的常数;benchmark 要用 §3.3 的 CLI 配置。

cache_engine.py:StateBlock 的 stored / dropped 是存储导出边界,不是运行时生死边界:stored 为需导出的 SWA;dropped 包含 YOCO consumer SWA 和 compression state,运行时仍须保留,P→D 传输也包含两区。consumer SWA 依赖 prefill 重算;compression state 不落盘是因为没有跨对齐存储边界的依赖,不能笼统说两者都可扔掉、靠 128-token 重放恢复。

SWA bounded replay

这个“有界”只限定固定模型、层数和窗口下的额外局部重放,不限定整段 block KV 的加载量,也不限定未缓存 prompt 的 prefill 工作;逐层计算仍有层数成本。compact 下相关 KV 分支仍处理完整输入的投影、压缩或写入,不能把全部 consumer 工作理解为只剩 140 个 token。Q&A 的最大命中位置为 \(L-134\)(128 窗口加 6 的回退余量),还要按 block 对齐。生产 SWA 放在本地 host memory、单副本、不上 3FS;paged block KV 才进入专用 3FS 集群。跨请求命中匹配、SWA 目录和存储服务仍在未开源 KV 系统中;源码里的 state_size_to_disk 名称不是“SWA 存在 3FS”的证据。

6.4 ZOS:把 schedule/post-process 塞进 GPU 气泡

同步路径里,当前采样完成后,CPU 才处理结果、排下一批;GPU 可能在等待这些工作时空转。ZOS 的关键顺序是:先调度并提交新 forward,再处理旧结果,最后提交新 sample。把后处理放到新 forward 的设备计算期间,而不是简单地把所有 CPU 工作挤在启动前。

提前一拍时,CPU 尚不知道实际接受了几个 draft,怎样避免算错下一批?源码给出了一条纠正链路:

  1. Engine / Scheduler 选择批次,按最大投机步长乐观预留输入范围;zos.cpp 按请求 ID 建立与上一批的 remap。
  2. Worker 在设备上用上一拍原始 confidence 修正 q,总预算不变;再用实际接受 draft 数修正 KV 长度,撤销未接受 draft 的乐观增量。
  3. token 输入从上一拍 GPU 采样结果取得:首 token 是 sampled/golden token,后面接新 draft 前缀;随后重建位置、累计偏移与 cache slot 元数据。不是 CPU 猜 token。
  4. 新 forward 已提交后,CPU 处理旧结果;变长 q 回传后刷新 CPU sampling metadata,再提交当前 sample。

主要落点为 csrc/engine/zos.cpp、worker/worker.py:_correct_seqlens_qk()、gather_input_ids_zos.py 和 prepare_tensor_input_zos.py。NORMAL / COMPLETION 默认将 ZOS setdefault 为 1。“zero overhead”是隐藏调度开销的目标,不是没有 CPU 成本或同步;采样完成事件、变长长度回传仍须等待。

在 ZOS 稳态 decode 中,一次 step 通常返回上一拍结果;首拍可能为空,prompt 步不适用这个简单对应。尾部在途结果由 flush_inflight_reqs() 收尾。N−1 / N−2 的 rate 会计正是这种流水滞后的后果。

下图对照同步路径的 GPU 空等与 ZOS 流水重叠。

ZOS 时间线

6.5(加餐)Batch-invariant 与 structured output 的工程味道

七、选型:先过门槛,再做对照

本节给出工程选择顺序,不做同硬件吞吐排名。EPLB、结构化输出、异步调度和推测解码并非 DeepInfer 独有;其他引擎也在演进,不能凭一份功能表判断谁更快。系列 13 可作产品背景,具体后端和版本仍以各项目当前文档为准。

7.0 四个入口,不是四档排名

下图按主要约束分路:研究官方 V4.1-Flash 实现且有匹配硬件,评估 DeepInfer offline;建设通用 API 服务,把 vLLM / SGLang 放进候选集;已围绕 NVIDIA 栈做部署,再加入 TensorRT-LLM。前缀复用和约束生成可以作为 SGLang 的评估重点,但不是它独占的能力。每条路都要再检查模型、后端与服务接口是否满足要求。

选型多路径决策图

现实里多数团队会走重叠路径:现网继续 vLLM / SGLang,DeepInfer 当源码与配方对照——不是二选一替换。

7.1 最值得借鉴的实现

实现 可核对的依据 适合做什么对照
V4.1-Flash 专用运行时 README 支持名单与模型源码 核对 checkpoint、tokenization、采样行为,而非宣称 API 完全一致
kernels + EP/EPLB 算子调用与 eplb/ 热专家复制是否抵得过冗余显存、通信与重排开销
DSpark 变长验证 dflash.py、mtp_varlen.hpp 相同请求、采样设置下比较固定与变长验证
SWA / YOCO 状态恢复 cache_engine.py 与截断配置 命中前缀后需要恢复哪些状态、重放多少 token
ZOS zos.cpp 与 Worker 纠正路径 CPU/GPU 重叠能否减少空等,延迟返回是否正确收尾
双后端 SM100 / Ascend 950 的 Platform 分支 看清公共接口下哪些算子和通信仍需设备特化

它的独特价值是官方实现可审计,不是未经对照就断言某个功能比社区引擎更强。

7.2 采用前要补的条件

条件或缺口 表现 工程含义
开源不等于完整服务 KV、E/P/D 编排、Prefill/Decode DP LB 未开源;VE LB 仅见 Q&A 不能 pip install 复制 155T/day
模型支持范围窄 公开支持名单为 DeepSeek-V4.1-Flash 不能预设它满足多模型或多 LoRA 服务需求
硬件门槛高 SM100(CUDA 13)/ Ascend 950(CANN 9.2) A100/H100/消费卡难当真跑通
形态是 offline 入口 offline_inference.py 无开箱 OpenAI Server / K8s 全家桶
本文没有独立横评 引用的吞吐数字均为厂商口径 容量规划不能直接抄 Q&A
集成工作量 release 重心是引擎和离线示例 在线协议、存储、调度与运维需要另行集成

骨架仍像 vLLM、调度 overlap 吸收了 SGLang 一类思路(§5.1),所以「读得懂」不等于「能替换」。

7.3 和其他方案怎么放一起看

图 10 列出各方案“先检查什么”,不把不同产品形态混成一张排行榜。

四个引擎的评估入口与需检查的边界

这些判断只比较公开产品形态。实际压测要固定 checkpoint、输入/输出长度分布、采样、KV 命中率、并行拓扑和延迟目标,再比较满足 SLO 的吞吐。不要把离线 tokens/s 与在线可服务容量直接相除。

7.4 谁值得投入,谁应先保留现网

更适合认真跟进 DeepInfer 的人:

什么时候还不如继续用 vLLM / SGLang(或 TRT-LLM):

7.5 四条采用路径(可并行)

不必先决定换引擎。可以同时读源码、研究生产参数、维持现网;只有模型与硬件匹配时,再走离线验证这条路。离线跑通之后,在线服务仍是另一个建设项目。

四条采用路径

务实顺序:

  1. 路径 A:Explain 站 “life of a request” → llm_engine → scheduler → worker → dflash → sampler。
  2. 路径 B:从 Q&A 提炼对照实验:观察专家负载、固定/变长验证和状态恢复开销。没有匹配硬件时先研究机制,不把生产参数照搬进现网。
  3. 路径 C:在匹配硬件上构建并跑 offline,再分别切换 EPLB、MTP varlen、YOCO compact(显式设 KEEP_TOKENS),检查数值、输出和耗时;不要一次打开所有优化后只看总吞吐。
  4. 路径 D:现网继续用满足需求的社区引擎;KV、E/P/D、请求级 LB 和网关单独规划。成本背景见 27,推测解码背景见 15。

八、小结

DeepInfer 让官方引擎的几笔账可以逐项核对:专家复制换负载均衡,置信度调度少做低收益验证,YOCO 少重建窗口状态,ZOS 用设备侧纠正换取 CPU/GPU 重叠。这些优化都带条件,不能只看功能名或最终吞吐。

最值得带走的边界是:引擎内已有实现,不等于在线服务已经齐备;官方公布营收和规模,也不等于公布了你的成本模型。 在匹配硬件上验证一项机制,再决定是否采用;没有匹配硬件,读源码仍有价值,现网不必因此换掉。

交叉阅读:

参考:固定版本的一手入口

DeepInfer 以下链接均固定到 5537415,避免后续更新改变本文的参数含义。

机制背景与比较口径:

源码下载

本文相关源码已整理,共 1 个文件。

打开下载目录 →

文章导航

分类入口
architectureai-infra
标签入口
#llm#infra#deepinfer#deepseek#inference#vllm#moe#mtp#sglang#ascend

读完这篇,下一步读什么

优先读同系列或同问题的下一篇,把单篇消费变成主题集群。


By .