推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目

第 30/31 篇

系列目录 29 推理框架详解——为啥需要、做什么、底…31 机房脏活——从业务规划到电力、光纤…

TL;DR

目录

模型没换、显存也够,为什么长 prompt 的首 token 变慢,或解码的 token 间隔开始抖?调度和 KV 管理只是半张地图;下一层的注意力、矩阵乘、归一化、采样与 MoE 内核,决定这些请求形状在 GPU 上怎样执行。排障时要把引擎选中的 backend、它实际发出的 kernel、服务的关键路径连起来,单看库名不够。

本文面向需要选后端、接算子、查延迟的推理工程师,不从零教 CUDA。分块与编程细节看 gpu-kernel 系列 和 03 CUDA 生态;Prefill/Decode 看 11,分页与调度看 12,引擎与执行器看 13、29,DeepInfer 的模型特化边界看 28。

资料核查截至 2026-10-31。能力判断来自文档与固定提交的源码;性能段只讨论可检验的机制,不提供未经复现的 tok/s 排名。尤其要区分历史 TensorRT engine/plugin 与当前 TensorRT-LLM 的 PyTorch 执行路径。

算子在服务栈中的位置

〇、30 秒版

  1. 框架与算子一起看:请求形状和 KV 布局变了,适用的内核也会变。
  2. 先分 Prefill / Decode:长 prompt 与小批量解码的瓶颈不同;paged KV、GQA 和压缩 MLA 也不是同一项能力。
  3. 先查支持,再比性能:算法论文、算子库 API、引擎路由分三层;上游支持不等于当前引擎启用。
  4. 别漏掉 GEMM、采样和 MoE:权重带宽、提交间隙、文法状态更新、专家通信都可能拖住关键路径。
  5. 只改一个变量:留服务基线 → 核对实际 backend → 看稳态时间轴与计数器 → 正确性回归 → 无 profiler 的服务 A/B。

一、为啥要单独讲算子

1.1 框架优化解决不了的那一段

特别篇 29 拆开了调度、KV、并行、采样与执行器。执行器内部仍要回答:

问题 落到哪类算子
长 prompt 的 TTFT 为啥高 Prefill Attention + 大 GEMM
长上下文 decode 为啥抖 Paged decode Attention、KV 带宽
小 batch 利用率上不去 权重/HBM、launch、未捕获 Graph、采样慢路径
MoE 吞吐上不去 Grouped GEMM、dispatch、EP 通信
量化后反而更慢 权重量化 kernel 未走专用路径 / 回退 FP16

算子层的工作,是在正确的 metadata(positions、block tables、cu_seqlens、dtype)下,选中能打满 Tensor Core 或 HBM 的那条实现,并与 Graph / 融合策略兼容。

1.2 和 gpu-kernel 系列怎么分工

两套都要时:先读本篇建立地图,再按需下潜到 FA / Triton / CUTLASS 专篇。

二、算子地图:一次 step 会碰到谁

常规自回归解码模型的单步逻辑算子链

图 2 画的是常规 pre-norm、自回归解码模型的逻辑顺序,不覆盖所有模型结构,也不代表每个框恰好对应一次 kernel launch:

  1. Embedding 后进入层循环:RMSNorm → QKV 投影 → RoPE → 新 KV 写入及 Attention → 输出投影与残差 → RMSNorm → MLP/MoE 与残差。RoPE 作用在各层的 Q/K,激活在 MLP 内;KV 写入可能独立,也可能与前处理或 Attention 融合。
  2. 层循环后:final norm → LM head/logits → logits 处理及可选约束 mask → sampling → stop/输出。

长 Prefill 有更多矩阵复用机会;小批量 Decode 则常受权重或 KV 读取限制。大 batch、稀疏注意力、MoE 和通信会改变这个判断,最终要用时间轴和计数器确认。投机解码一次还可能验证多个 token,不能把所有运行期输入都当成单 token。

三、Attention 家族:多方面对比

注意力算法、算子库与引擎集成的三层契约

3.1 先分比较对象,再看能力

算法的分块方式、库的接口覆盖、引擎的实际启用是三个问题,不能放进同一张吞吐榜:

类别 例子 你真正在比什么
算法/参考实现 FA2/FA3、FlashDecoding tiling、数值、接口能否表达 paged/GQA
Kernel 库 FlashInfer、cuDNN SDPA 服务特性覆盖、版本矩阵、与 Graph 的相处
引擎集成 vLLM backend、TRT plugin、DeepInfer registry 规则、metadata 契约、运维开关
维度 你在问什么
Prefill 长 prompt 能否吃满 Tensor Core
Decode 小 q_len、长 KV 时能否打满 SM / HBM;是否需要 split-KV
Paged 是否原生吃 block table / page table,而不是先 gather 成连续 KV
GQA 是否支持多个 Q 头共享一组 KV,头数比与布局有什么约束
MLA 压缩 KV / 吸收后的表示是否有独立路径(不要和 GQA 合成一列)
图捕获 固定 shape 下是否容易进 CUDA Graph
许可与边界 OSS 可改 vs 厂商库;DeepInfer 还需模型/硬件/offline 门槛

图 3 只画三层契约,不用无版本的圆点给支持能力打分。真正上线时,要核对安装版本的 GPU 架构、head dimension、KV dtype、分页尺寸和捕获约束;例如 vLLM 支持矩阵 会把不同模型特性单独列出。

3.2 代表路径:支持什么,限制在哪里

对象与取证入口 能力与机制 不能据此推出什么
FA2,上游 README 4616f511 分块注意力;flash_attn_with_kvcache 提供 KV-cache/GQA;2.5 起支持 paged KV。该公开接口的 page block size 要求为 256 的倍数,Q 头数须是 KV 头数的整数倍 任意引擎的 block layout 都可直接接入;支持 GQA 就支持压缩 MLA
FA3,同一 README 的 Hopper 发布说明 面向 Hopper,列出 H100/H800、CUDA ≥12.3,推荐 12.8;利用 TMA、异步 Tensor Core 等硬件能力 “Hopper 之后都默认用 FA3”。本文 vLLM 提交在 Blackwell 上排除 FA3,另选受支持版本
Flash-Decoding,PyTorch 官方说明 将长 KV 切分,分别计算局部输出与 log-sum-exp(LSE),再归并;已集成到 FA 的解码实现 每次短 query 都需要 split;这是独立、可随处换上的服务后端
FlashDecoding++,Hong 等原论文 另研究统一最大值假设下的异步 softmax 等设计,以减少同步成本 与 Flash-Decoding 完全同一算法;论文机制在任意引擎中都已启用
FlashInfer,源码 d29e16ae 提供 paged/ragged Attention、GQA 及采样 API;BatchMLAPagedAttentionWrapper.plan/run 是独立的吸收式 MLA 路径,可处理 decode/增量 prefill 一套接口覆盖所有 MLA 表示;非吸收 prefill 自动走同一路径
cuDNN SDPA,官方 Attention 文档 cuDNN ≥9.5 的直接 SDPA 接口有 K/V page-table 输入,另有 dtype、head dimension 与架构矩阵 标准 PyTorch SDPA 选中 cuDNN 就能接分页 KV
TensorRT-LLM,当前迁移文档与 _torch 源码 当前执行后端是 PyTorch,Attention 仍选择专用 FMHA 内核;旧 TensorRT engine 的 GPT attention plugin 另有 context/generation 分支 当前必须 build engine;名称含 trtllm 就是旧 TensorRT 执行后端
DeepInfer 5537415 DeepSeek-V4.1-Flash 的特化执行路径;SM100/CUDA 13 或 Ascend 950/CANN 9.2,公开入口为 offline,Apache-2.0 通用 FA 替代品,或适用于所有 DeepSeek 模型

库能力与框架接口尤其容易混淆。 PyTorch 标准 F.scaled_dot_product_attention 没有 page-table 参数;要使用 cuDNN 的分页接口,必须由集成层显式接线。路由取决于编译/运行库、shape、dtype、架构与启用选项,不只取决于驱动。

MLA 也不只是少几个 KV head。 GQA 共享 K/V 头,MLA 则有压缩缓存、位置分量与投影吸收等表示约束。即使一个 SDPA 实现支持非对称 QK/V 维度,也不能直接宣称它完成了某模型的压缩 MLA decode。DeepInfer 的具体路径见第七节;xFormers 等其他实现也按同样的接口条件核对,不按“新/旧”标签选型。

3.3 Tiling 直觉(不替换论文)

分块注意力与解码分段归约的机制和适用条件

这条路线从 Dao 等的 FlashAttention(2022)开始:把 HBM 与片上存储之间的 IO 计入代价模型,通过分块与 online softmax 避免存下完整分数矩阵。FA2(2023)继续减少非矩阵乘运算、改善 thread block/warp 的工作分配;FA3(2024)进一步利用 Hopper 的异步计算与数据搬运,重叠矩阵乘和 softmax。它们改的是执行方式,不能把“exact attention”理解成不同实现逐位相同,也不把稠密注意力变成线性复杂度。

对长度为 \(L\)、单头维度为 \(d\) 的稠密 self-attention,主要算术量仍为 \(O(L^2d)\);省掉的是完整分数/概率矩阵的 \(O(L^2)\) 存储与相关 HBM 往返,不是省掉 \(QK^\top\) 的全部计算。mask、窗口和稀疏选择会改变实际工作量,须单独说明。

Decode 时 query 少,沿 batch/head 的并行度可能不足。split-KV 用更多块处理同一 query 的不同 KV 段,代价是暂存结果与二次归约。若第 \(j\) 段已得到归一化输出 \(O_j\) 及 \(\ell_j=\log\sum_{i\in j}e^{s_i}\),令 \(\ell=\operatorname{logsumexp}_j\ell_j\),总输出为

\[ O=\sum_j e^{\ell_j-\ell}O_j. \]

这个归并权重解释了为什么不能简单平均各段输出。只有在并行度不足、KV 足够长且额外归约可摊薄时,切分才有望获益;短 KV 或已充分并行时可能更慢。算法不替代 metadata 契约:paged 布局、头映射、scale 和有效长度接错,首先是正确性事故。

四、GEMM、量化与 MLP/MoE

矩阵乘的格式契约、实现选择与瓶颈诊断

4.1 三层入口与选用条件

  1. cuBLASLt:先检查通用矩阵乘是否覆盖当前形状、精度和布局,再看可融合的尾处理(epilogue)。cuBLAS 13.4 文档 列的是有限枚举,如 bias、ReLU、GELU;支持还受 dtype、布局与 batch 模式约束。scale/量化处理不等于任意激活融合,没有可直接代入的 SiLU/SwiGLU epilogue。
  2. CUTLASS / CuTe:需要定制分块、流水线、精度或尾处理时,可在此实现;收益必须抵过调优、编译和版本维护成本。
  3. 专用路径:如 DeepGEMM,或引擎用于低比特权重的特定 GEMM。加载 AWQ/GPTQ checkpoint 后仍需 repack 与内核选型;不能只凭算法名推断执行方式。

令线性层为 \(Y=XW\),\(X\) 的形状是 \(M\times K\),\(W\) 是 \(K\times N\);\(M\) 是本次参与矩阵乘的 token 行数,不一定等于请求数。若权重主导访存、每个权重读一次、每元素占 \(b_w\) 字节,忽略 scale、激活与输出流量,则

\[ I\approx\frac{2MKN}{b_wKN}=\frac{2M}{b_w}\quad\text{FLOP/byte}. \]

这只是用于识别权重带宽风险的近似:量化减小 \(b_w\),同时会增加反量化、scale 与重排成本;缓存复用也会改变实际流量。小 \(M\) 不等于 launch-bound,至少拆成以下分支:

分支 你在时间轴/计数器上可能看到什么 常见下一步
权重 / HBM 带宽墙 权重反复读、算术强度低;kernel 已较长但仍 HBM-bound 量化权重、更大有效 batch、融合减少往返(见 11)
launch / 同步 大量短 kernel + CPU/GPU 间隙 CUDA Graph、persistent、合并 launch
shape / kernel 覆盖 配置与实际调用不符,日志或校验提示该形状未命中 结合调用链查路由,不只凭 symbol 名判断

grouped GEMM 适用于多组可合批问题(典型 MoE experts),不是任意单个小 M 的通用解;persistent 只覆盖其调度/launch 部分,不自动消除权重带宽墙。

4.2 和量化的边界

路径 真正需要记录的契约 不能仅凭名称判断的事
AWQ/GPTQ 权重量化 量化方法、W/A 位宽、group size、对称性/zero-point、checkpoint pack、运行时 repack 与 kernel AWQ 是激活感知的权重量化方法,GPTQ 用校准数据的二阶信息做误差补偿;二者都不是唯一 kernel ABI
FP8 GEMM E4M3/E5M2、权重与激活是否都为 FP8、scale 粒度/布局、累计类型、输出 dtype “支持 FP8”不等于支持该 block scale、形状或所有融合。cuBLAS 文档的相关 FP8 路径要求 FP32 compute,尺度模式有架构限制
KV 量化 KV dtype、scale 如何产生/更新、分页布局、Attention 消费格式 FP8 权重不能自动推出 FP8 KV;Attention 接口认 dtype 也不等于尺度和长上下文质量正确

一个能复核的格式差异例子:原始 AWQ 的 WQLinear 使用 4-bit 权重、int16 pack 和交错重排;原始 GPTQ 的 Quant3Linear 则是 3-bit、int32 pack,且该执行入口只支持单 token。这是文末固定提交的两个实现实例,不是今天所有 AWQ/GPTQ 的定义。引擎可把 checkpoint 转成另一种运行时布局。

看到“先反量化再 FP16 GEMM”时,先量清独立转换与暂存流量;它可能是未命中专用内核,也可能是该形状下的合理路径。不能把所有反量化都当失败,也不能把 fused dequant 都当提速。每条路径都要核对硬件指令、实际路由与质量门禁,后者包含长上下文、logits/中间量容差和任务质量,展开见 14。

4.3 MoE

普通 MoE 执行链可拆成路由、dispatch/重排、专家计算、combine;跨 rank 的 Expert Parallel(EP)还会引入通信。grouped GEMM 能把多个专家的矩阵问题一起调度,但不能自动消除 token 重排、通信或负载偏斜;一些实现会进一步融合这些步骤,不能规定所有 MoE 都走同一条链。

最少观察四项:每个专家/每个 rank 收到多少 token、通信占用了多少 SM、计算与通信能否重叠、最慢 rank 的等待。专家数量均分不等于 token 负载均分。均匀随机路由的小测试可能掩盖真实请求的热点;测试要包含偏斜与空专家,核查专家负载均衡(EPLB)、冗余专家映射和重平衡成本。DeepInfer 的 Mega MoE 与普通 grouped 分支见 §7.1。

五、采样、结构化输出与「慢路径陷阱」

把链路拆开,避免「一个 fused sampler」包打天下:

环节 常见落点 慢了看什么
schema/grammar → 约束 bitmask 编译并缓存文法;matcher 随已接受 token 更新状态,通常在 CPU 编译未命中、状态更新或传输是否在关键路径
bitmask 应用到 logits GPU mask / logits processor mask dtype、时序与合法 token 集是否正确,是否有同步
sampling(top-k/p、min-p…) 排序、阈值搜索、rejection 或专用融合实现 分布、过滤顺序、ties 和 RNG 是否符合接口
stop string / 后处理 通常在 CPU,位于 GPU 图外 是否等待 D2H/同步而延迟下一步提交

选用判据(最小集,定性):

场景 更该怀疑哪条路径 观测点
batch×vocab 大、top-k/p 常规 排序/阈值搜索/融合路径各花了多少时间 kernel、临时 buffer、分布与尾延迟
min-p / 复杂组合 是否覆盖参数组合,过滤顺序是否一致 实际路径、接口限制与错误处理
structured output 比例高 CPU matcher、mask 传输和应用是否阻塞 CPU 调用栈、同步与 mask kernel
开启 Graph 后 sample 仍抖 图外 stop/grammar/同步是否延迟提交 CPU 间隙与 Graph replay 边界

sorting-free 不保证所有分布都更快。 FlashInfer 的 Sorting-Free Sampling 官方说明 讨论了单 pivot rejection 轮数难以保证、双 pivot 改善收敛的动机。比较时要固定 batch、vocab、k/p、概率分布与过滤顺序,并看尾延迟。DeepInfer 本文提交使用 radix 阈值搜索,不能套用 FlashInfer rejection 的解释。

库里既有专用实现又有参考实现,不意味着运行时会自动回退。参数不支持时可能报错;应核对真实分支。fused 也只说明操作在实现上组合了,未必一次 launch。结构化输出压测保留 tool call/JSON 比例,同时检查非法 token 被屏蔽、文法状态正确推进和生成结果可解析。

六、引擎如何选 backend(真实交界)

初始化后端选择与运行时内核调度的边界

初始化时,选择器拿硬件架构、模型注意力类型、head dimension、dtype、分页布局与捕获要求筛选可用实现;平台代码再给候选优先次序。运行时用已选 backend 和本步 metadata 执行,内部可能选择 Prefill、Decode 或 split-KV;支持分阶段配置的引擎也可以预先选不同后端。这不是每步沿固定榜单换一个库。

vLLM 等引擎的支持矩阵会按架构、注意力类型和特性分列,MLA 可以有独立实现。候选优先序也受版本影响。显式指定不兼容 backend,在本文 vLLM 提交中会校验失败并报错,不应期待它默默退到另一套正确实现。

排障时先记录日志里的实际 backend 与 Graph/量化配置,再在 profiler 对上调用和 kernel;不能只凭某个 symbol 不含库名判断“没启用”。确认算子确在关键路径上,再改选型或调度参数。

错误示范:为追博客里的「最新 FA」,关掉 paged 或 Graph,微基准赢了,线上尾延迟与显存一起输。

七、真实项目切片:按固定提交追调用链

四个推理项目的版本化源码入口

带着四个问题读仓库(比背 API 有用):

  1. Attention 默认后端是谁?paged decode 是否同一条路径?MLA 是否独立 backend?
  2. Sampler / grammar bitmask / stop 各在哪一层?不支持的参数是报错还是显式回退?
  3. MoE 是 grouped GEMM 还是多次 GEMM + 手写 dispatch?
  4. 量化加载后,实际 kernel 名是什么?

7.1 DeepInfer(本地可核,commit 5537415)

固定提交 553741557a57df44a46fb3ab72b6aafeaf945337。其 README 写明模型是 DeepSeek-V4.1-Flash,默认 checkpoint 为 V4.1-Flash-1017;硬件是 NVIDIA SM100/CUDA 13 或 Huawei Ascend 950/CANN 9.2,公开使用入口为 examples/offline_inference.py,许可 Apache-2.0。这里核对的是源码,不将离线入口当成完整在线服务。以下路径均相对仓库根目录,行号只适用于该 SHA。

环节 源码入口与调用
Step 到 worker deepinfer/engine/llm_engine.py:860 的 step 经 _execute_model_async_step:952,在 :965–966 分发 execute_model_step;worker 定义在 deepinfer/worker/worker.py:89
模型执行 worker.py:122 调 execute_main_model;deepinfer/worker/model_runner.py:308 内在 :327/:329 选 Graph replay/eager,再进入模型层循环
每层 Attention deepinfer/model_executor/models/decoder_layer.py:97;CUDA V4 Attention 在 v4_modules/attn.py:617/:660 分别调稀疏 prefill/decode 包装
CUDA MLA 包装 deepinfer/model_executor/layers/attention_backend.py:26/:77 的 prefill_attn_varlen_sparse / decode_mla_mqa_sparse;底层 flash_mla。Ascend 从平台对应实现读,不把 CUDA 内核名套过去
独立采样阶段 同一 Worker.execute_model_step 的 worker.py:154 调 execute_sample;model_runner.py:337/:361 再调模型 sample,到 deepinfer/model_executor/layers/sampler.py:114
mask 与采样 Prefill mask 在 sampler.py:188;decode 经 _verification:411 到 :437 应用 mask。sampler_utils.py:185 调 fused_sample wrapper,再调 CUDA/Ascend 平台内核

采样不在 execute_main_model 的层循环里。 worker 还夹有上一步后处理和同步;排查图覆盖范围时,应该按这些真实调用划分,而不是把模型 forward、mask 和 sampler 全画进同一张图。

MoE 也有两条路径。deepinfer/model_executor/models/v4_modules/mlp.py:177–188 检查精度与 EP 拓扑条件,满足时走 Mega MoE(:549);普通分支才是 dispatch、两次 grouped GEMM、中间独立 SwiGLU/cast、combine(:571–610,grouped 包装在 :119/:130)。deepinfer/model_executor/layers/linear.py:150/:165 另可追到激活 cast 和 deep_gemm.fp8_fp4_gemm_nt,其 scale 布局不能由“FP8”三个字替代。

CUDA fused_sample_tl 虽名为 fused,源码内有两个 T.Kernel 区段(:177/:222)。普通 process_sampling 直接调它的 wrapper,“可选 fused sampler”不是这条源码路径的准确概括。文法状态更新、GPU mask 与采样分别查;分文件能帮你找入口,耗时是否在热点仍需 profiler。

7.2 vLLM:平台决定候选,registry 提供实现

固定提交 9499c949be17a8a10ac4176a33843e82469d2ff5,不把某个文件最近修改的 SHA 当成模糊的“当前 main”。初始化路径如下:

入口 职责
vllm/v1/attention/selector.py::get_attn_backend / _cached_get_attn_backend 汇总选择条件,包括 use_mla、has_sliding_window、kv_cache_dtype 等
vllm/platforms/cuda.py::get_attn_backend_cls CUDA 平台提供候选优先次序并校验配置;显式不兼容选择会报错
vllm/v1/attention/backends/registry.py::AttentionBackendEnum 枚举与 backend 类映射,不是自己完成所有决策
backends/flash_attn.py、backends/flashinfer.py、backends/mla/ 常规 Attention 与 MLA 的实现;fa_utils.py::get_flash_attn_version 还受 GPU 架构限制

选择器 与 CUDA 平台源码 要一起读。backend_per_kind 可配置不同类别,但配置入口需和安装版本一致。运行时 runner 准备 positions、block tables 和长度等 metadata,执行所选 backend;符合捕获条件的区域通过 Graph replay 执行,不是先完成整步再补一次 replay。sampler/约束处理是否在捕获范围内,要查该版本 runner 与图边界。

7.3 SGLang:前缀缓存与 Attention 路由分别读

对照 8368f86f:

默认策略源码 已足以否定“SGLang 永远默认 FlashInfer”。前缀缓存改变需要计算的 token 与可复用 KV,是调度/缓存收益;不能由此推出某个 Attention 库与 Agent 天然绑定。

7.4 TensorRT-LLM:别拿旧 engine 路径解释当前版本

截至本次核查,官方 TensorRT Backend Removed 迁移页 已明确:PyTorch 是唯一执行后端,不再需要 engine-build 步骤,旧 trtllm-build 等流程被移除。该页未给出首次移除的 release 编号,因此这里不猜版本分界。

当前源码 3d10fbf8 的 tensorrt_llm/_torch/attention/backends/trtllm.py::TrtllmAttention.forward 调 FmhaManager.select 选择 Attention 实现;trtllm 是这里的实现名称,不能据此认定它运行在旧 TensorRT engine 中。

若维护历史部署,v0.20.0 / 79658429 的 cpp/tensorrt_llm/plugins/gptAttentionPlugin/gptAttentionPlugin.cpp 仍可作为版本化阅读入口:enqueueContext 与 enqueueGeneration 分别处理 context/generation。融合范围、paged cache 和数据类型要查这一版本,不能外推为当前全产品架构,更不能据此给“峰值延迟最强”的排名。

八、实践:从「慢」定位到算子

实践工作流

8.1 先留服务基线,再采时间轴

先在没有 profiler的条件下,固定模型 revision、引擎版本、GPU、精度、并行配置、输入/输出长度分布和到达率。记录 TTFT、每请求 TPOT、ITL 分布与队列等待;TPOT 是请求内的平均间隔,不能替代逐 token 的 ITL 尾部。结构化输出、前缀缓存命中与投机解码比例也要保留。

下面用 vLLM 的离线 API 做一段可控的算子复现,不是在线 SLO 测试。条件是:Linux + NVIDIA CUDA GPU、已安装能在该 GPU 上运行的 vLLM/PyTorch、Nsight Systems 与 Nsight Compute;模型已下载到本地且支持至少 8192 的上下文,显存足够容纳模型及示例的 KV。在独立测试目录把以下代码保存为 profile_step.py:

import os
import torch
from vllm import LLM, SamplingParams

llm = LLM(
    model=os.environ["MODEL_PATH"],
    tensor_parallel_size=1,
    max_model_len=8192,
    max_num_seqs=8,
    enable_prefix_caching=False,
    enforce_eager=os.environ.get("NCU_EAGER") == "1",
)
params = SamplingParams(temperature=0, max_tokens=128, ignore_eos=True)
prompts = [{"prompt_token_ids": [1] * 4096} for _ in range(8)]
llm.generate(prompts, params, use_tqdm=False)
torch.cuda.nvtx.range_push("steady_generate")
try:
    llm.generate(prompts, params, use_tqdm=False)
finally:
    torch.cuda.nvtx.range_pop()

这里重复 token id 只是为了固定输入形状,不做语言质量评估;模型词表须包含 id 1。若显存不足,先减请求数或长度,并将改后的值用于两组对照。预热包含模型执行,图捕获还可能在初始化期完成。steady_generate 标在调用 API 的父进程:GPU worker 在子进程时,要按时间对齐其 CUDA 轨道,不能把父进程空白当成 GPU 空闲。

export MODEL_PATH=/absolute/path/to/local/model
nsys --version
ncu --version
nsys profile --trace=cuda,nvtx,osrt --sample=none --cpuctxsw=none \
  --cuda-graph-trace=graph -o step_graph python3 profile_step.py
nsys stats --report cuda_gpu_kern_sum --report cuda_api_sum step_graph.nsys-rep

MODEL_PATH 换成自己的模型目录。用 Nsight Systems GUI 打开 step_graph.nsys-rep,找到父进程的 steady_generate 范围,排除之前的加载、JIT 与预热,查看所有 GPU worker 的 kernel、memcpy 和通信。默认 graph 粒度只显示整图活动,汇总里可能看不到图内内核;需要下钻时另采一份:

nsys profile --trace=cuda,nvtx,osrt --sample=none --cpuctxsw=none \
  --cuda-graph-trace=node -o step_nodes python3 profile_step.py
nsys stats --report cuda_gpu_kern_sum --report cuda_api_sum step_nodes.nsys-rep

node 追踪开销更高,不用于发布吞吐数字。确认服务实际选中的 backend、量化格式与 Graph 模式后,再从这份时间轴挑需要分析的 kernel。以上选项来自 Nsight Systems User Guide;本节没有把示例命令写成实测结果。

8.2 再用计数器检验瓶颈假设

内核占比高,只能说明值得看,不能证明受限于算力或带宽。 HBM 读发生在 Attention/GEMM 内部,并不需要一条独立 memcpy。时间轴上的复制还可能来自 CPU offload、输入传输或输出取回,应先看源/目标、方向及是否阻塞关键路径。

选定名称后,用 Nsight Compute 只采少数匹配的 launch。以下命令交互输入从时间轴抄出的内核名称片段(正则),默认 basic 集合先做初筛:

ncu --list-sets
ncu --list-sections
read -r -p 'Kernel regex from step_nodes: ' KERNEL_REGEX
NCU_EAGER=1 ncu --target-processes all --kernel-name-base demangled \
  --kernel-name "regex:$KERNEL_REGEX" --launch-skip 20 --launch-count 3 \
  --set basic -o step_kernel python3 profile_step.py
ncu -i step_kernel.ncu-rep --page details

--launch-skip 20 跳过的是 20 次匹配的 launch,不是 20 个 decode step;检查报告的 shape 和调用位置是否落在预期阶段。需要 DRAM 吞吐、Tensor Core 活动或 occupancy 时,从本机 --list-sections 的输出选择相应 section 重采,不把其他版本的计数器名硬套进来。

这里 NCU_EAGER=1 暂时关图以隔离内核,是诊断条件变化,不是线上替换方案。Compute 的多次 replay 和串行化会改变缓存与并发;通信内核或必须同时前进的多流工作负载应按 Nsight Compute CLI 选择 range/application replay 等适配方式,不对整个分布式服务盲开全量计数器。遇到 ERR_NVGPUCTRPERM,按 NVIDIA 权限说明 让管理员授权测试环境,不在生产机器上自行放宽权限。

观测 待检验的假设 下一项实验
长 Prefill 中 Attention/GEMM 在关键路径上 算力、访存、占用率或形状覆盖受限 看计数器,再试一个支持的实现或融合配置
Decode 内核 DRAM 读多,算术强度低 KV 或权重带宽受限 区分 Attention 与 GEMM,分别试 KV/权重格式
GPU 轨道有空隙且 CPU 忙 提交、同步、调度或文法状态更新卡住 按 CPU 调用栈和 NVTX 定位;检查图外工作
通信与计算难以重叠 TP/EP 或 KV 传输拖住关键路径 看各 rank 和 stream,不只看一张卡

每次只改一项,先过正确性,再回到无 profiler 的同一服务负载测尾延迟。

8.3 源码定位例:结构化输出开启后,应该查哪里

假设 DeepInfer 的结构化输出开启后 ITL 上升,先不要把它归因于“fused sampler 不够快”。对照 §7.1 的提交,Worker.execute_model_step 在主模型执行后,另经 execute_sample 进入 Sampler.forward;这里至少有三项工作:

工作 源码位置 需要采集的证据
文法状态推进与 mask 生成 deepinfer/model_executor/layers/sampler.py:332–389 的 matcher 相关处理 CPU 状态更新、缓存命中、传输与同步;不能从 GPU mask 包装推断 CPU 耗时
GPU 应用 mask Prefill 在 sampler.py:188 调 structure_output/mask.py:25 的包装;decode 经 _verification:411 到 sampler.py:437 两阶段分别核对 mask 行索引、合法 token 与 kernel 时间,不能把 prefill 行号当 decode 证据
概率过滤与采样 decode 在 sampler.py:446 调 process_sampling;sampler_utils.py:185 到平台 wrapper,CUDA 内核为 fused_sample_tl:19 阈值搜索、随机数与实际 launch,不能把仓库里的排序参考实现当已发生的回退

这张表只确定去哪找证据,没有证明哪一项更慢。实际实验固定模型、schema、请求形状及随机语义,比较开关前后的 CPU 间隙、D2H/H2D、mask 与采样时长;还要看 Attention、MoE 或通信是否仍占关键路径。最终在同一负载上复测无 profiler 的 ITL,才有资格归因。没有适配 DeepInfer 的硬件时,换用能运行的引擎做同类实验,但重新追它的调用链,不沿用这些行号。

8.4 正确性

换算子后,最低验收应覆盖:

Attention/GEMM 先做中间量与 logits 的容差比对,生成 token 再检查任务行为;浮点归约顺序变了,接近并列最大值时可能出现 token 差异,不能只凭最终文本断定内核正确或错误。

DeepInfer 是一个具体反例:该提交的 sampling_params.py:76–79 把零温钳到 1e-5,后续仍调用采样 RNG,因此不能用“greedy 不消耗 RNG”解释它的零温路径。其 README 还给出平台、MTP-varlen 与 seed 的确定性条件,应单独回归。

8.5 CUDA Graph 与融合边界

图重放的可更新数据、图外工作与算子融合边界

CUDA Graph 要求捕获区域的拓扑、地址与 shape 满足实现约束;引擎常通过 shape 分桶、padding 和固定 buffer 重放。页表、有效长度与 mask 的内容可以在重放前更新,上下文增长不必自动重建图。动态 draft 数也可由分桶或特化图处理,要看实现,不是“有动态长度就不能捕获”。

CPU grammar/stop 通常位于 GPU 图外,本身不会使已捕获的模型图失效;若必须等待同步或 D2H,仍可能延迟下一次提交。要区分“图捕获失败”和“图外工作拖慢 step”。

融合位置 可能组合的工作 限制
Attention 前处理 Norm、QKV、RoPE、KV 写入中的部分操作 RoPE 在每层 Q/K 上;能否融合看具体实现
Attention 内部 分块 matmul、softmax、paged KV 读取 必须保持 mask、scale 与布局语义
GEMM epilogue 支持的 bias、ReLU/GELU、尺度/转换 cuBLASLt 是受限枚举;定制 SwiGLU 要查其他内核
残差与归一化 residual add 与下一段 norm 等 不因此称为 Attention epilogue

固定 capture buffer 不等于固定请求的 KV 内容。更新时序、page ownership 与 stream 依赖仍须正确;为了微基准省掉动态页表更新,会测出线上不存在的路径。

九、选型路径

算子层选型

先用引擎在当前模型、硬件和精度上选择的受支持路径留基线,再按观测做下一项实验:

  1. 长 Prefill 的 Attention/GEMM 是瓶颈:核对 Tensor Core、分块与融合;Hopper 可评估适配 FA3,Blackwell 另查引擎支持的实现,不沿用“Hopper+”判断。
  2. Decode 的 KV 读取或并行度受限:检查 paged 布局与缓存 dtype;并行度不足且 KV 长时,才评估 split-KV。前缀复用能减少 prefill,但不能替代 decode 内核优化。
  3. 权重流量或提交间隙受限:分别评估专用量化 GEMM、有效 batch、Graph 捕获范围;不能用同一个开关解决两类瓶颈。
  4. MoE 或结构化输出受限:看路由偏斜、EP 通信与重叠,或 CPU matcher、mask 和 sampler;Attention 库升级未必触及它们。

产品选择是另一层决策:功能支持、服务形态、模型与团队维护成本先过关,再用相同负载测量。DeepInfer 只在 §7.1 的模型/硬件/offline 边界内比较;TensorRT-LLM 按当前 PyTorch 或明确的历史版本理解。引擎横评可接着读 13,但算子路由仍应回到本地源码与日志。

十、开放问题

开放问题
  1. 统一 KV 接口能否保留特化布局的收益? FA 的 block-table 限制、FlashInfer 的 MLA wrapper、cuDNN 的 page-table 输入并不完全同构。PD 分离或跨加速器迁移时,谁负责表示、scale、page ownership 和转换成本?阅读入口是这些真实 API,而不是“统一 Attention”口号。
  2. 图捕获与融合省下的时间,是否抵过可观测性成本? Nsight Systems 的 graph/node 粒度与 Compute 的 replay 会改变我们能看到什么。值得测的是同一尾延迟目标下的图覆盖率、图外 CPU 工作、调试和回归成本,不只是少了几次 launch。
  3. 低精度的失败先出现在哪里? FP8 GEMM、FP4 权重与量化 KV 改动不同数值路径。哪些长上下文、近并列 logits 与采样分布测试能先发现风险?从 cuBLAS 的 scale 契约、FA3 的低精度机制和 DeepInfer 的 cast/采样源码出发,而不是先宣布一种精度应成为所有服务的默认值。

十一、阅读路径与交叉引用

阅读路径
你想解决的问题 去哪
Prefill/Decode/KV 心智 11
Paged / Continuous Batching 12
引擎产品横评 13
量化 14
投机解码 15
CUDA 生态分层 03
框架解剖学 29
DeepInfer 28
算子编程深潜 gpu-kernel(执行模型 / Roofline / FA / Triton / 融合)

参考资料

机制与论文

接口与固定提交源码

工具与实践


先确定输入和 KV 契约,再确认实际实现,最后测服务关键路径。库名只是入口,不能替代这三步。

源码下载

本文相关源码已整理,共 2 个文件。

打开下载目录 →

文章导航

分类入口
architectureai-infra
标签入口
#llm#infra#inference#kernel#flashattention#flashinfer#cudnn#tensorrt-llm#vllm#sglang#deepinfer

读完这篇,下一步读什么

优先读同系列或同问题的下一篇,把单篇消费变成主题集群。


By .