模型没换、显存也够,为什么长 prompt 的首 token 变慢,或解码的 token 间隔开始抖?调度和 KV 管理只是半张地图;下一层的注意力、矩阵乘、归一化、采样与 MoE 内核,决定这些请求形状在 GPU 上怎样执行。排障时要把引擎选中的 backend、它实际发出的 kernel、服务的关键路径连起来,单看库名不够。
本文面向需要选后端、接算子、查延迟的推理工程师,不从零教 CUDA。分块与编程细节看 gpu-kernel 系列 和 03 CUDA 生态;Prefill/Decode 看 11,分页与调度看 12,引擎与执行器看 13、29,DeepInfer 的模型特化边界看 28。
资料核查截至 2026-10-31。能力判断来自文档与固定提交的源码;性能段只讨论可检验的机制,不提供未经复现的 tok/s 排名。尤其要区分历史 TensorRT engine/plugin 与当前 TensorRT-LLM 的 PyTorch 执行路径。
〇、30 秒版
- 框架与算子一起看:请求形状和 KV 布局变了,适用的内核也会变。
- 先分 Prefill / Decode:长 prompt 与小批量解码的瓶颈不同;paged KV、GQA 和压缩 MLA 也不是同一项能力。
- 先查支持,再比性能:算法论文、算子库 API、引擎路由分三层;上游支持不等于当前引擎启用。
- 别漏掉 GEMM、采样和 MoE:权重带宽、提交间隙、文法状态更新、专家通信都可能拖住关键路径。
- 只改一个变量:留服务基线 → 核对实际 backend → 看稳态时间轴与计数器 → 正确性回归 → 无 profiler 的服务 A/B。
一、为啥要单独讲算子
1.1 框架优化解决不了的那一段
特别篇 29 拆开了调度、KV、并行、采样与执行器。执行器内部仍要回答:
| 问题 | 落到哪类算子 |
|---|---|
| 长 prompt 的 TTFT 为啥高 | Prefill Attention + 大 GEMM |
| 长上下文 decode 为啥抖 | Paged decode Attention、KV 带宽 |
| 小 batch 利用率上不去 | 权重/HBM、launch、未捕获 Graph、采样慢路径 |
| MoE 吞吐上不去 | Grouped GEMM、dispatch、EP 通信 |
| 量化后反而更慢 | 权重量化 kernel 未走专用路径 / 回退 FP16 |
算子层的工作,是在正确的 metadata(positions、block tables、cu_seqlens、dtype)下,选中能打满 Tensor Core 或 HBM 的那条实现,并与 Graph / 融合策略兼容。
1.2 和 gpu-kernel 系列怎么分工
- gpu-kernel:教你怎么写、怎么 profile、怎么把 occupancy / bank conflict 讲清楚(本篇不替代 14 FlashAttention / 15 Triton / 16 融合 专篇)。
- 本篇:教你在 vLLM / SGLang / TRT-LLM / DeepInfer 里如何认路、对比、决策,以及真实项目里算子挂在哪。
两套都要时:先读本篇建立地图,再按需下潜到 FA / Triton / CUTLASS 专篇。
二、算子地图:一次 step 会碰到谁
图 2 画的是常规 pre-norm、自回归解码模型的逻辑顺序,不覆盖所有模型结构,也不代表每个框恰好对应一次 kernel launch:
- Embedding 后进入层循环:RMSNorm → QKV 投影 → RoPE → 新 KV 写入及 Attention → 输出投影与残差 → RMSNorm → MLP/MoE 与残差。RoPE 作用在各层的 Q/K,激活在 MLP 内;KV 写入可能独立,也可能与前处理或 Attention 融合。
- 层循环后:final norm → LM head/logits → logits 处理及可选约束 mask → sampling → stop/输出。
长 Prefill 有更多矩阵复用机会;小批量 Decode 则常受权重或 KV 读取限制。大 batch、稀疏注意力、MoE 和通信会改变这个判断,最终要用时间轴和计数器确认。投机解码一次还可能验证多个 token,不能把所有运行期输入都当成单 token。
三、Attention 家族:多方面对比
3.1 先分比较对象,再看能力
算法的分块方式、库的接口覆盖、引擎的实际启用是三个问题,不能放进同一张吞吐榜:
| 类别 | 例子 | 你真正在比什么 |
|---|---|---|
| 算法/参考实现 | FA2/FA3、FlashDecoding | tiling、数值、接口能否表达 paged/GQA |
| Kernel 库 | FlashInfer、cuDNN SDPA | 服务特性覆盖、版本矩阵、与 Graph 的相处 |
| 引擎集成 | vLLM backend、TRT plugin、DeepInfer | registry 规则、metadata 契约、运维开关 |
| 维度 | 你在问什么 |
|---|---|
| Prefill | 长 prompt 能否吃满 Tensor Core |
| Decode | 小 q_len、长 KV 时能否打满 SM /
HBM;是否需要 split-KV |
| Paged | 是否原生吃 block table / page table,而不是先 gather 成连续 KV |
| GQA | 是否支持多个 Q 头共享一组 KV,头数比与布局有什么约束 |
| MLA | 压缩 KV / 吸收后的表示是否有独立路径(不要和 GQA 合成一列) |
| 图捕获 | 固定 shape 下是否容易进 CUDA Graph |
| 许可与边界 | OSS 可改 vs 厂商库;DeepInfer 还需模型/硬件/offline 门槛 |
图 3 只画三层契约,不用无版本的圆点给支持能力打分。真正上线时,要核对安装版本的 GPU 架构、head dimension、KV dtype、分页尺寸和捕获约束;例如 vLLM 支持矩阵 会把不同模型特性单独列出。
3.2 代表路径:支持什么,限制在哪里
| 对象与取证入口 | 能力与机制 | 不能据此推出什么 |
|---|---|---|
FA2,上游 README 4616f511 |
分块注意力;flash_attn_with_kvcache 提供
KV-cache/GQA;2.5 起支持 paged KV。该公开接口的 page block
size 要求为 256 的倍数,Q 头数须是 KV 头数的整数倍 |
任意引擎的 block layout 都可直接接入;支持 GQA 就支持压缩 MLA |
| FA3,同一 README 的 Hopper 发布说明 | 面向 Hopper,列出 H100/H800、CUDA ≥12.3,推荐 12.8;利用 TMA、异步 Tensor Core 等硬件能力 | “Hopper 之后都默认用 FA3”。本文 vLLM 提交在 Blackwell 上排除 FA3,另选受支持版本 |
| Flash-Decoding,PyTorch 官方说明 | 将长 KV 切分,分别计算局部输出与 log-sum-exp(LSE),再归并;已集成到 FA 的解码实现 | 每次短 query 都需要 split;这是独立、可随处换上的服务后端 |
| FlashDecoding++,Hong 等原论文 | 另研究统一最大值假设下的异步 softmax 等设计,以减少同步成本 | 与 Flash-Decoding 完全同一算法;论文机制在任意引擎中都已启用 |
FlashInfer,源码 d29e16ae |
提供 paged/ragged Attention、GQA 及采样
API;BatchMLAPagedAttentionWrapper.plan/run
是独立的吸收式 MLA 路径,可处理 decode/增量 prefill |
一套接口覆盖所有 MLA 表示;非吸收 prefill 自动走同一路径 |
| cuDNN SDPA,官方 Attention 文档 | cuDNN ≥9.5 的直接 SDPA 接口有 K/V page-table 输入,另有 dtype、head dimension 与架构矩阵 | 标准 PyTorch SDPA 选中 cuDNN 就能接分页 KV |
TensorRT-LLM,当前迁移文档与 _torch
源码 |
当前执行后端是 PyTorch,Attention 仍选择专用 FMHA 内核;旧 TensorRT engine 的 GPT attention plugin 另有 context/generation 分支 | 当前必须 build engine;名称含 trtllm 就是旧
TensorRT 执行后端 |
DeepInfer 5537415 |
DeepSeek-V4.1-Flash 的特化执行路径;SM100/CUDA 13 或 Ascend 950/CANN 9.2,公开入口为 offline,Apache-2.0 | 通用 FA 替代品,或适用于所有 DeepSeek 模型 |
库能力与框架接口尤其容易混淆。 PyTorch
标准 F.scaled_dot_product_attention 没有
page-table 参数;要使用 cuDNN
的分页接口,必须由集成层显式接线。路由取决于编译/运行库、shape、dtype、架构与启用选项,不只取决于驱动。
MLA 也不只是少几个 KV head。 GQA 共享 K/V 头,MLA 则有压缩缓存、位置分量与投影吸收等表示约束。即使一个 SDPA 实现支持非对称 QK/V 维度,也不能直接宣称它完成了某模型的压缩 MLA decode。DeepInfer 的具体路径见第七节;xFormers 等其他实现也按同样的接口条件核对,不按“新/旧”标签选型。
3.3 Tiling 直觉(不替换论文)
这条路线从 Dao 等的 FlashAttention(2022)开始:把 HBM 与片上存储之间的 IO 计入代价模型,通过分块与 online softmax 避免存下完整分数矩阵。FA2(2023)继续减少非矩阵乘运算、改善 thread block/warp 的工作分配;FA3(2024)进一步利用 Hopper 的异步计算与数据搬运,重叠矩阵乘和 softmax。它们改的是执行方式,不能把“exact attention”理解成不同实现逐位相同,也不把稠密注意力变成线性复杂度。
对长度为 \(L\)、单头维度为 \(d\) 的稠密 self-attention,主要算术量仍为 \(O(L^2d)\);省掉的是完整分数/概率矩阵的 \(O(L^2)\) 存储与相关 HBM 往返,不是省掉 \(QK^\top\) 的全部计算。mask、窗口和稀疏选择会改变实际工作量,须单独说明。
Decode 时 query 少,沿 batch/head 的并行度可能不足。split-KV 用更多块处理同一 query 的不同 KV 段,代价是暂存结果与二次归约。若第 \(j\) 段已得到归一化输出 \(O_j\) 及 \(\ell_j=\log\sum_{i\in j}e^{s_i}\),令 \(\ell=\operatorname{logsumexp}_j\ell_j\),总输出为
\[ O=\sum_j e^{\ell_j-\ell}O_j. \]
这个归并权重解释了为什么不能简单平均各段输出。只有在并行度不足、KV 足够长且额外归约可摊薄时,切分才有望获益;短 KV 或已充分并行时可能更慢。算法不替代 metadata 契约:paged 布局、头映射、scale 和有效长度接错,首先是正确性事故。
四、GEMM、量化与 MLP/MoE
4.1 三层入口与选用条件
- cuBLASLt:先检查通用矩阵乘是否覆盖当前形状、精度和布局,再看可融合的尾处理(epilogue)。cuBLAS 13.4 文档 列的是有限枚举,如 bias、ReLU、GELU;支持还受 dtype、布局与 batch 模式约束。scale/量化处理不等于任意激活融合,没有可直接代入的 SiLU/SwiGLU epilogue。
- CUTLASS / CuTe:需要定制分块、流水线、精度或尾处理时,可在此实现;收益必须抵过调优、编译和版本维护成本。
- 专用路径:如 DeepGEMM,或引擎用于低比特权重的特定 GEMM。加载 AWQ/GPTQ checkpoint 后仍需 repack 与内核选型;不能只凭算法名推断执行方式。
令线性层为 \(Y=XW\),\(X\) 的形状是 \(M\times K\),\(W\) 是 \(K\times N\);\(M\) 是本次参与矩阵乘的 token 行数,不一定等于请求数。若权重主导访存、每个权重读一次、每元素占 \(b_w\) 字节,忽略 scale、激活与输出流量,则
\[ I\approx\frac{2MKN}{b_wKN}=\frac{2M}{b_w}\quad\text{FLOP/byte}. \]
这只是用于识别权重带宽风险的近似:量化减小 \(b_w\),同时会增加反量化、scale 与重排成本;缓存复用也会改变实际流量。小 \(M\) 不等于 launch-bound,至少拆成以下分支:
| 分支 | 你在时间轴/计数器上可能看到什么 | 常见下一步 |
|---|---|---|
| 权重 / HBM 带宽墙 | 权重反复读、算术强度低;kernel 已较长但仍 HBM-bound | 量化权重、更大有效 batch、融合减少往返(见 11) |
| launch / 同步 | 大量短 kernel + CPU/GPU 间隙 | CUDA Graph、persistent、合并 launch |
| shape / kernel 覆盖 | 配置与实际调用不符,日志或校验提示该形状未命中 | 结合调用链查路由,不只凭 symbol 名判断 |
grouped GEMM 适用于多组可合批问题(典型 MoE experts),不是任意单个小 M 的通用解;persistent 只覆盖其调度/launch 部分,不自动消除权重带宽墙。
4.2 和量化的边界
| 路径 | 真正需要记录的契约 | 不能仅凭名称判断的事 |
|---|---|---|
| AWQ/GPTQ 权重量化 | 量化方法、W/A 位宽、group size、对称性/zero-point、checkpoint pack、运行时 repack 与 kernel | AWQ 是激活感知的权重量化方法,GPTQ 用校准数据的二阶信息做误差补偿;二者都不是唯一 kernel ABI |
| FP8 GEMM | E4M3/E5M2、权重与激活是否都为 FP8、scale 粒度/布局、累计类型、输出 dtype | “支持 FP8”不等于支持该 block scale、形状或所有融合。cuBLAS 文档的相关 FP8 路径要求 FP32 compute,尺度模式有架构限制 |
| KV 量化 | KV dtype、scale 如何产生/更新、分页布局、Attention 消费格式 | FP8 权重不能自动推出 FP8 KV;Attention 接口认 dtype 也不等于尺度和长上下文质量正确 |
一个能复核的格式差异例子:原始 AWQ 的
WQLinear 使用 4-bit 权重、int16 pack
和交错重排;原始 GPTQ 的 Quant3Linear 则是
3-bit、int32 pack,且该执行入口只支持单
token。这是文末固定提交的两个实现实例,不是今天所有
AWQ/GPTQ 的定义。引擎可把 checkpoint
转成另一种运行时布局。
看到“先反量化再 FP16 GEMM”时,先量清独立转换与暂存流量;它可能是未命中专用内核,也可能是该形状下的合理路径。不能把所有反量化都当失败,也不能把 fused dequant 都当提速。每条路径都要核对硬件指令、实际路由与质量门禁,后者包含长上下文、logits/中间量容差和任务质量,展开见 14。
4.3 MoE
普通 MoE 执行链可拆成路由、dispatch/重排、专家计算、combine;跨 rank 的 Expert Parallel(EP)还会引入通信。grouped GEMM 能把多个专家的矩阵问题一起调度,但不能自动消除 token 重排、通信或负载偏斜;一些实现会进一步融合这些步骤,不能规定所有 MoE 都走同一条链。
最少观察四项:每个专家/每个 rank 收到多少 token、通信占用了多少 SM、计算与通信能否重叠、最慢 rank 的等待。专家数量均分不等于 token 负载均分。均匀随机路由的小测试可能掩盖真实请求的热点;测试要包含偏斜与空专家,核查专家负载均衡(EPLB)、冗余专家映射和重平衡成本。DeepInfer 的 Mega MoE 与普通 grouped 分支见 §7.1。
五、采样、结构化输出与「慢路径陷阱」
把链路拆开,避免「一个 fused sampler」包打天下:
| 环节 | 常见落点 | 慢了看什么 |
|---|---|---|
| schema/grammar → 约束 bitmask | 编译并缓存文法;matcher 随已接受 token 更新状态,通常在 CPU | 编译未命中、状态更新或传输是否在关键路径 |
| bitmask 应用到 logits | GPU mask / logits processor | mask dtype、时序与合法 token 集是否正确,是否有同步 |
| sampling(top-k/p、min-p…) | 排序、阈值搜索、rejection 或专用融合实现 | 分布、过滤顺序、ties 和 RNG 是否符合接口 |
| stop string / 后处理 | 通常在 CPU,位于 GPU 图外 | 是否等待 D2H/同步而延迟下一步提交 |
选用判据(最小集,定性):
| 场景 | 更该怀疑哪条路径 | 观测点 |
|---|---|---|
| batch×vocab 大、top-k/p 常规 | 排序/阈值搜索/融合路径各花了多少时间 | kernel、临时 buffer、分布与尾延迟 |
| min-p / 复杂组合 | 是否覆盖参数组合,过滤顺序是否一致 | 实际路径、接口限制与错误处理 |
| structured output 比例高 | CPU matcher、mask 传输和应用是否阻塞 | CPU 调用栈、同步与 mask kernel |
| 开启 Graph 后 sample 仍抖 | 图外 stop/grammar/同步是否延迟提交 | CPU 间隙与 Graph replay 边界 |
sorting-free 不保证所有分布都更快。 FlashInfer 的 Sorting-Free Sampling 官方说明 讨论了单 pivot rejection 轮数难以保证、双 pivot 改善收敛的动机。比较时要固定 batch、vocab、k/p、概率分布与过滤顺序,并看尾延迟。DeepInfer 本文提交使用 radix 阈值搜索,不能套用 FlashInfer rejection 的解释。
库里既有专用实现又有参考实现,不意味着运行时会自动回退。参数不支持时可能报错;应核对真实分支。fused
也只说明操作在实现上组合了,未必一次
launch。结构化输出压测保留 tool call/JSON 比例,同时检查非法
token 被屏蔽、文法状态正确推进和生成结果可解析。
六、引擎如何选 backend(真实交界)
初始化时,选择器拿硬件架构、模型注意力类型、head dimension、dtype、分页布局与捕获要求筛选可用实现;平台代码再给候选优先次序。运行时用已选 backend 和本步 metadata 执行,内部可能选择 Prefill、Decode 或 split-KV;支持分阶段配置的引擎也可以预先选不同后端。这不是每步沿固定榜单换一个库。
vLLM 等引擎的支持矩阵会按架构、注意力类型和特性分列,MLA 可以有独立实现。候选优先序也受版本影响。显式指定不兼容 backend,在本文 vLLM 提交中会校验失败并报错,不应期待它默默退到另一套正确实现。
排障时先记录日志里的实际 backend 与 Graph/量化配置,再在 profiler 对上调用和 kernel;不能只凭某个 symbol 不含库名判断“没启用”。确认算子确在关键路径上,再改选型或调度参数。
错误示范:为追博客里的「最新 FA」,关掉 paged 或 Graph,微基准赢了,线上尾延迟与显存一起输。
七、真实项目切片:按固定提交追调用链
带着四个问题读仓库(比背 API 有用):
- Attention 默认后端是谁?paged decode 是否同一条路径?MLA 是否独立 backend?
- Sampler / grammar bitmask / stop 各在哪一层?不支持的参数是报错还是显式回退?
- MoE 是 grouped GEMM 还是多次 GEMM + 手写 dispatch?
- 量化加载后,实际 kernel 名是什么?
7.1
DeepInfer(本地可核,commit 5537415)
固定提交
553741557a57df44a46fb3ab72b6aafeaf945337。其
README
写明模型是 DeepSeek-V4.1-Flash,默认 checkpoint 为
V4.1-Flash-1017;硬件是 NVIDIA SM100/CUDA 13 或 Huawei
Ascend 950/CANN 9.2,公开使用入口为
examples/offline_inference.py,许可
Apache-2.0。这里核对的是源码,不将离线入口当成完整在线服务。以下路径均相对仓库根目录,行号只适用于该
SHA。
| 环节 | 源码入口与调用 |
|---|---|
| Step 到 worker | deepinfer/engine/llm_engine.py:860 的
step 经
_execute_model_async_step:952,在
:965–966 分发
execute_model_step;worker 定义在
deepinfer/worker/worker.py:89 |
| 模型执行 | worker.py:122 调
execute_main_model;deepinfer/worker/model_runner.py:308
内在 :327/:329 选 Graph
replay/eager,再进入模型层循环 |
| 每层 Attention | deepinfer/model_executor/models/decoder_layer.py:97;CUDA
V4 Attention 在 v4_modules/attn.py:617/:660
分别调稀疏 prefill/decode 包装 |
| CUDA MLA 包装 | deepinfer/model_executor/layers/attention_backend.py:26/:77
的 prefill_attn_varlen_sparse /
decode_mla_mqa_sparse;底层
flash_mla。Ascend 从平台对应实现读,不把 CUDA
内核名套过去 |
| 独立采样阶段 | 同一 Worker.execute_model_step 的
worker.py:154 调
execute_sample;model_runner.py:337/:361
再调模型 sample,到
deepinfer/model_executor/layers/sampler.py:114 |
| mask 与采样 | Prefill mask 在 sampler.py:188;decode 经
_verification:411 到 :437 应用
mask。sampler_utils.py:185 调
fused_sample wrapper,再调 CUDA/Ascend
平台内核 |
采样不在 execute_main_model
的层循环里。 worker
还夹有上一步后处理和同步;排查图覆盖范围时,应该按这些真实调用划分,而不是把模型
forward、mask 和 sampler 全画进同一张图。
MoE
也有两条路径。deepinfer/model_executor/models/v4_modules/mlp.py:177–188
检查精度与 EP 拓扑条件,满足时走 Mega
MoE(:549);普通分支才是 dispatch、两次
grouped GEMM、中间独立
SwiGLU/cast、combine(:571–610,grouped 包装在
:119/:130)。deepinfer/model_executor/layers/linear.py:150/:165
另可追到激活 cast 和
deep_gemm.fp8_fp4_gemm_nt,其 scale
布局不能由“FP8”三个字替代。
CUDA fused_sample_tl 虽名为
fused,源码内有两个 T.Kernel
区段(:177/:222)。普通
process_sampling 直接调它的 wrapper,“可选
fused sampler”不是这条源码路径的准确概括。文法状态更新、GPU
mask 与采样分别查;分文件能帮你找入口,耗时是否在热点仍需
profiler。
7.2 vLLM:平台决定候选,registry 提供实现
固定提交
9499c949be17a8a10ac4176a33843e82469d2ff5,不把某个文件最近修改的
SHA 当成模糊的“当前 main”。初始化路径如下:
| 入口 | 职责 |
|---|---|
vllm/v1/attention/selector.py::get_attn_backend
/ _cached_get_attn_backend |
汇总选择条件,包括
use_mla、has_sliding_window、kv_cache_dtype
等 |
vllm/platforms/cuda.py::get_attn_backend_cls |
CUDA 平台提供候选优先次序并校验配置;显式不兼容选择会报错 |
vllm/v1/attention/backends/registry.py::AttentionBackendEnum |
枚举与 backend 类映射,不是自己完成所有决策 |
backends/flash_attn.py、backends/flashinfer.py、backends/mla/ |
常规 Attention 与 MLA
的实现;fa_utils.py::get_flash_attn_version
还受 GPU 架构限制 |
选择器
与 CUDA
平台源码 要一起读。backend_per_kind
可配置不同类别,但配置入口需和安装版本一致。运行时 runner
准备 positions、block tables 和长度等 metadata,执行所选
backend;符合捕获条件的区域通过 Graph replay
执行,不是先完成整步再补一次
replay。sampler/约束处理是否在捕获范围内,要查该版本
runner 与图边界。
7.3 SGLang:前缀缓存与 Attention 路由分别读
对照 8368f86f:
python/sglang/srt/arg_groups/model_override_base.py::get_default_attn_backend按模型与硬件给默认实现;常规 Hopper 条件可选 FA3,SM100 条件可选trtllm_mha,还有模型特化分支。python/sglang/srt/model_executor/model_runner_components/attention_backend_setup.py::resolve_attention_backend_strs/_build_resolved_backend解析并构建后端;prefill/decode 配置需要分别核对。python/sglang/srt/layers/attention/attention_registry.py::ATTENTION_BACKENDS注册具体实现。
默认策略源码 已足以否定“SGLang 永远默认 FlashInfer”。前缀缓存改变需要计算的 token 与可复用 KV,是调度/缓存收益;不能由此推出某个 Attention 库与 Agent 天然绑定。
7.4 TensorRT-LLM:别拿旧 engine 路径解释当前版本
截至本次核查,官方 TensorRT
Backend Removed 迁移页 已明确:PyTorch
是唯一执行后端,不再需要 engine-build 步骤,旧
trtllm-build 等流程被移除。该页未给出首次移除的
release 编号,因此这里不猜版本分界。
当前源码 3d10fbf8 的
tensorrt_llm/_torch/attention/backends/trtllm.py::TrtllmAttention.forward
调 FmhaManager.select 选择 Attention
实现;trtllm
是这里的实现名称,不能据此认定它运行在旧 TensorRT engine
中。
若维护历史部署,v0.20.0 /
79658429 的
cpp/tensorrt_llm/plugins/gptAttentionPlugin/gptAttentionPlugin.cpp
仍可作为版本化阅读入口:enqueueContext 与
enqueueGeneration 分别处理
context/generation。融合范围、paged cache
和数据类型要查这一版本,不能外推为当前全产品架构,更不能据此给“峰值延迟最强”的排名。
八、实践:从「慢」定位到算子
8.1 先留服务基线,再采时间轴
先在没有 profiler的条件下,固定模型 revision、引擎版本、GPU、精度、并行配置、输入/输出长度分布和到达率。记录 TTFT、每请求 TPOT、ITL 分布与队列等待;TPOT 是请求内的平均间隔,不能替代逐 token 的 ITL 尾部。结构化输出、前缀缓存命中与投机解码比例也要保留。
下面用 vLLM 的离线 API
做一段可控的算子复现,不是在线 SLO
测试。条件是:Linux + NVIDIA CUDA GPU、已安装能在该
GPU 上运行的 vLLM/PyTorch、Nsight Systems 与 Nsight
Compute;模型已下载到本地且支持至少 8192
的上下文,显存足够容纳模型及示例的
KV。在独立测试目录把以下代码保存为
profile_step.py:
import os
import torch
from vllm import LLM, SamplingParams
llm = LLM(
model=os.environ["MODEL_PATH"],
tensor_parallel_size=1,
max_model_len=8192,
max_num_seqs=8,
enable_prefix_caching=False,
enforce_eager=os.environ.get("NCU_EAGER") == "1",
)
params = SamplingParams(temperature=0, max_tokens=128, ignore_eos=True)
prompts = [{"prompt_token_ids": [1] * 4096} for _ in range(8)]
llm.generate(prompts, params, use_tqdm=False)
torch.cuda.nvtx.range_push("steady_generate")
try:
llm.generate(prompts, params, use_tqdm=False)
finally:
torch.cuda.nvtx.range_pop()这里重复 token id
只是为了固定输入形状,不做语言质量评估;模型词表须包含 id
1。若显存不足,先减请求数或长度,并将改后的值用于两组对照。预热包含模型执行,图捕获还可能在初始化期完成。steady_generate
标在调用 API 的父进程:GPU worker 在子进程时,要按时间对齐其
CUDA 轨道,不能把父进程空白当成 GPU 空闲。
export MODEL_PATH=/absolute/path/to/local/model
nsys --version
ncu --version
nsys profile --trace=cuda,nvtx,osrt --sample=none --cpuctxsw=none \
--cuda-graph-trace=graph -o step_graph python3 profile_step.py
nsys stats --report cuda_gpu_kern_sum --report cuda_api_sum step_graph.nsys-repMODEL_PATH 换成自己的模型目录。用 Nsight
Systems GUI 打开
step_graph.nsys-rep,找到父进程的
steady_generate 范围,排除之前的加载、JIT
与预热,查看所有 GPU worker 的 kernel、memcpy 和通信。默认
graph
粒度只显示整图活动,汇总里可能看不到图内内核;需要下钻时另采一份:
nsys profile --trace=cuda,nvtx,osrt --sample=none --cpuctxsw=none \
--cuda-graph-trace=node -o step_nodes python3 profile_step.py
nsys stats --report cuda_gpu_kern_sum --report cuda_api_sum step_nodes.nsys-repnode
追踪开销更高,不用于发布吞吐数字。确认服务实际选中的
backend、量化格式与 Graph 模式后,再从这份时间轴挑需要分析的
kernel。以上选项来自 Nsight
Systems User Guide;本节没有把示例命令写成实测结果。
8.2 再用计数器检验瓶颈假设
内核占比高,只能说明值得看,不能证明受限于算力或带宽。
HBM 读发生在 Attention/GEMM 内部,并不需要一条独立
memcpy。时间轴上的复制还可能来自 CPU
offload、输入传输或输出取回,应先看源/目标、方向及是否阻塞关键路径。
选定名称后,用 Nsight Compute 只采少数匹配的
launch。以下命令交互输入从时间轴抄出的内核名称片段(正则),默认
basic 集合先做初筛:
ncu --list-sets
ncu --list-sections
read -r -p 'Kernel regex from step_nodes: ' KERNEL_REGEX
NCU_EAGER=1 ncu --target-processes all --kernel-name-base demangled \
--kernel-name "regex:$KERNEL_REGEX" --launch-skip 20 --launch-count 3 \
--set basic -o step_kernel python3 profile_step.py
ncu -i step_kernel.ncu-rep --page details--launch-skip 20 跳过的是 20
次匹配的 launch,不是 20 个 decode step;检查报告的
shape 和调用位置是否落在预期阶段。需要 DRAM 吞吐、Tensor
Core 活动或 occupancy 时,从本机
--list-sections 的输出选择相应 section
重采,不把其他版本的计数器名硬套进来。
这里 NCU_EAGER=1
暂时关图以隔离内核,是诊断条件变化,不是线上替换方案。Compute
的多次 replay
和串行化会改变缓存与并发;通信内核或必须同时前进的多流工作负载应按
Nsight
Compute CLI 选择 range/application replay
等适配方式,不对整个分布式服务盲开全量计数器。遇到
ERR_NVGPUCTRPERM,按 NVIDIA
权限说明
让管理员授权测试环境,不在生产机器上自行放宽权限。
| 观测 | 待检验的假设 | 下一项实验 |
|---|---|---|
| 长 Prefill 中 Attention/GEMM 在关键路径上 | 算力、访存、占用率或形状覆盖受限 | 看计数器,再试一个支持的实现或融合配置 |
| Decode 内核 DRAM 读多,算术强度低 | KV 或权重带宽受限 | 区分 Attention 与 GEMM,分别试 KV/权重格式 |
| GPU 轨道有空隙且 CPU 忙 | 提交、同步、调度或文法状态更新卡住 | 按 CPU 调用栈和 NVTX 定位;检查图外工作 |
| 通信与计算难以重叠 | TP/EP 或 KV 传输拖住关键路径 | 看各 rank 和 stream,不只看一张卡 |
每次只改一项,先过正确性,再回到无 profiler 的同一服务负载测尾延迟。
8.3 源码定位例:结构化输出开启后,应该查哪里
假设 DeepInfer 的结构化输出开启后 ITL
上升,先不要把它归因于“fused sampler 不够快”。对照 §7.1
的提交,Worker.execute_model_step
在主模型执行后,另经 execute_sample 进入
Sampler.forward;这里至少有三项工作:
| 工作 | 源码位置 | 需要采集的证据 |
|---|---|---|
| 文法状态推进与 mask 生成 | deepinfer/model_executor/layers/sampler.py:332–389
的 matcher 相关处理 |
CPU 状态更新、缓存命中、传输与同步;不能从 GPU mask 包装推断 CPU 耗时 |
| GPU 应用 mask | Prefill 在 sampler.py:188 调
structure_output/mask.py:25 的包装;decode 经
_verification:411 到
sampler.py:437 |
两阶段分别核对 mask 行索引、合法 token 与 kernel 时间,不能把 prefill 行号当 decode 证据 |
| 概率过滤与采样 | decode 在 sampler.py:446 调
process_sampling;sampler_utils.py:185
到平台 wrapper,CUDA 内核为
fused_sample_tl:19 |
阈值搜索、随机数与实际 launch,不能把仓库里的排序参考实现当已发生的回退 |
这张表只确定去哪找证据,没有证明哪一项更慢。实际实验固定模型、schema、请求形状及随机语义,比较开关前后的 CPU 间隙、D2H/H2D、mask 与采样时长;还要看 Attention、MoE 或通信是否仍占关键路径。最终在同一负载上复测无 profiler 的 ITL,才有资格归因。没有适配 DeepInfer 的硬件时,换用能运行的引擎做同类实验,但重新追它的调用链,不沿用这些行号。
8.4 正确性
换算子后,最低验收应覆盖:
- greedy 与参考实现对齐;先确认走的是真正 argmax,而非低温随机采样;
- 固定种子的随机采样统计;跨实现不要求同 seed 逐 token 一致,要核对分布、过滤顺序、ties 和 RNG 语义;
- eager vs CUDA Graph 一致性;
- 边界 shape:短/长序列、paged block 边界;
- GQA 与 MLA 各自(若启用)路径;
- 量化 KV / 权重量化若开启,单独质量门禁(含 logits/中间量容差口径,而不只看最终 token);
- 结构化输出场景;
- 自定义 kernel 路径跑
compute-sanitizer(至少 memcheck)。
Attention/GEMM 先做中间量与 logits 的容差比对,生成 token 再检查任务行为;浮点归约顺序变了,接近并列最大值时可能出现 token 差异,不能只凭最终文本断定内核正确或错误。
DeepInfer 是一个具体反例:该提交的
sampling_params.py:76–79 把零温钳到
1e-5,后续仍调用采样 RNG,因此不能用“greedy
不消耗 RNG”解释它的零温路径。其 README
还给出平台、MTP-varlen 与 seed
的确定性条件,应单独回归。
8.5 CUDA Graph 与融合边界
CUDA Graph 要求捕获区域的拓扑、地址与 shape 满足实现约束;引擎常通过 shape 分桶、padding 和固定 buffer 重放。页表、有效长度与 mask 的内容可以在重放前更新,上下文增长不必自动重建图。动态 draft 数也可由分桶或特化图处理,要看实现,不是“有动态长度就不能捕获”。
CPU grammar/stop 通常位于 GPU 图外,本身不会使已捕获的模型图失效;若必须等待同步或 D2H,仍可能延迟下一次提交。要区分“图捕获失败”和“图外工作拖慢 step”。
| 融合位置 | 可能组合的工作 | 限制 |
|---|---|---|
| Attention 前处理 | Norm、QKV、RoPE、KV 写入中的部分操作 | RoPE 在每层 Q/K 上;能否融合看具体实现 |
| Attention 内部 | 分块 matmul、softmax、paged KV 读取 | 必须保持 mask、scale 与布局语义 |
| GEMM epilogue | 支持的 bias、ReLU/GELU、尺度/转换 | cuBLASLt 是受限枚举;定制 SwiGLU 要查其他内核 |
| 残差与归一化 | residual add 与下一段 norm 等 | 不因此称为 Attention epilogue |
固定 capture buffer 不等于固定请求的 KV 内容。更新时序、page ownership 与 stream 依赖仍须正确;为了微基准省掉动态页表更新,会测出线上不存在的路径。
九、选型路径
先用引擎在当前模型、硬件和精度上选择的受支持路径留基线,再按观测做下一项实验:
- 长 Prefill 的 Attention/GEMM 是瓶颈:核对 Tensor Core、分块与融合;Hopper 可评估适配 FA3,Blackwell 另查引擎支持的实现,不沿用“Hopper+”判断。
- Decode 的 KV 读取或并行度受限:检查 paged 布局与缓存 dtype;并行度不足且 KV 长时,才评估 split-KV。前缀复用能减少 prefill,但不能替代 decode 内核优化。
- 权重流量或提交间隙受限:分别评估专用量化 GEMM、有效 batch、Graph 捕获范围;不能用同一个开关解决两类瓶颈。
- MoE 或结构化输出受限:看路由偏斜、EP 通信与重叠,或 CPU matcher、mask 和 sampler;Attention 库升级未必触及它们。
产品选择是另一层决策:功能支持、服务形态、模型与团队维护成本先过关,再用相同负载测量。DeepInfer 只在 §7.1 的模型/硬件/offline 边界内比较;TensorRT-LLM 按当前 PyTorch 或明确的历史版本理解。引擎横评可接着读 13,但算子路由仍应回到本地源码与日志。
十、开放问题
- 统一 KV 接口能否保留特化布局的收益? FA 的 block-table 限制、FlashInfer 的 MLA wrapper、cuDNN 的 page-table 输入并不完全同构。PD 分离或跨加速器迁移时,谁负责表示、scale、page ownership 和转换成本?阅读入口是这些真实 API,而不是“统一 Attention”口号。
- 图捕获与融合省下的时间,是否抵过可观测性成本? Nsight Systems 的 graph/node 粒度与 Compute 的 replay 会改变我们能看到什么。值得测的是同一尾延迟目标下的图覆盖率、图外 CPU 工作、调试和回归成本,不只是少了几次 launch。
- 低精度的失败先出现在哪里? FP8 GEMM、FP4 权重与量化 KV 改动不同数值路径。哪些长上下文、近并列 logits 与采样分布测试能先发现风险?从 cuBLAS 的 scale 契约、FA3 的低精度机制和 DeepInfer 的 cast/采样源码出发,而不是先宣布一种精度应成为所有服务的默认值。
十一、阅读路径与交叉引用
| 你想解决的问题 | 去哪 |
|---|---|
| Prefill/Decode/KV 心智 | 11 |
| Paged / Continuous Batching | 12 |
| 引擎产品横评 | 13 |
| 量化 | 14 |
| 投机解码 | 15 |
| CUDA 生态分层 | 03 |
| 框架解剖学 | 29 |
| DeepInfer | 28 |
| 算子编程深潜 | gpu-kernel(执行模型 / Roofline / FA / Triton / 融合) |
参考资料
机制与论文
- Dao、Fu、Ermon、Rudra、Ré,FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness,NeurIPS 2022:IO 模型与分块精确注意力。
- Tri Dao,FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning,2023 预印本、ICLR 2024:非 matmul 运算与线程工作分配。
- Shah、Bikshandi、Zhang、Thakkar、Ramani、Dao,FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision,NeurIPS 2024:Hopper 异步执行与低精度机制,不据其数字推断跨硬件排名。会议归属可在 作者论文目录 核对。
- Flash-Decoding 官方机制说明;Hong 等,FlashDecoding++,2023 arXiv 预印本(本文未核实其同行评审版本),仅引用机制,不把论文评测当服务复现。
- FlashInfer,Sorting-Free Sampling,2025:阈值/rejection 算法、分布与收敛限制。
接口与固定提交源码
- FlashAttention
README
4616f511:KV-cache、GQA、分页尺寸及 FA3 Hopper 发布条件。 - FlashInfer
MLA wrapper
d29e16ae:plan/run与吸收式 MLA。 - cuDNN Attention;PyTorch SDPA 2.15 API:直接库接口与框架路由边界。
- cuBLAS
13.4 API:
cublasLtEpilogue_t、FP8 scaling 与 compute/type 限制;CUTLASS / CuTe。 - AWQ
d6e797a42b9ef7778de8ee2352116e0f48a78d61的 qmodule.py;GPTQ2d65066eeb06a5c9ff5184d8cebdf33662c67faf的 quant.py 与 gptq.py:方法与 pack/kernel 实例。 - vLLM
9499c949be17a8a10ac4176a33843e82469d2ff5:selector、CUDA 平台、FA 版本选择;Attention 支持矩阵。 - SGLang
8368f86f:默认策略、后端构建、registry。 - TensorRT-LLM:当前
backend 移除/迁移说明、
3d10fbf8的 PyTorch Attention;历史 v0.20.0 /79658429的 GPT plugin。 - DeepInfer
553741557a57df44a46fb3ab72b6aafeaf945337:README、MoE、CUDA sampler;其他路径与行号见 §7.1、§8.3。
工具与实践
- Nsight Systems User Guide:CUDA/NVTX、graph/node、统计与进程轨道。
- Nsight Compute CLI:kernel 过滤、计数器集合、replay 与多进程。
- NVIDIA 性能计数器权限说明。
先确定输入和 KV 契约,再确认实际实现,最后测服务关键路径。库名只是入口,不能替代这三步。
源码下载
本文相关源码已整理,共 2 个文件。
文章导航
读完这篇,下一步读什么
优先读同系列或同问题的下一篇,把单篇消费变成主题集群。
【大模型基础设施工程】03:CUDA 生态——cuBLAS、cuDNN、NCCL、Triton、CUTLASS
从 nvcc 到 Triton,把 NVIDIA 软件栈的每一层拆给大模型工程师看,顺便谈谈 ROCm、CANN 为什么一直追不上。
【大模型基础设施工程】11:推理引擎基础
从 Prefill/Decode 两阶段、KV Cache、Continuous Batching 到 PD 分离,系统讲清楚大模型推理的工程基础。
【大模型基础设施工程】13:vLLM / SGLang / TensorRT-LLM / TGI 对比
主流推理引擎的架构、性能、生态深度对比,给出工程选型与落地决策依据。
【大模型基础设施工程·特别篇】29:推理框架详解——为啥需要、做什么、底层举例与部署 Demo
从一次 generate 到并发服务,拆解调度、KV、并行与采样的职责;用 Roofline、分页写入和逐步调度解释成本,给出按官方文档核对的部署 Demo(未实跑模型服务)。