【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目
从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。
flashinfer 标签归档
共 2 篇文章 · 返回首页
【大模型基础设施工程】13：vLLM / SGLang / TensorRT-LLM / TGI 对比
主流推理引擎的架构、性能、生态深度对比，给出工程选型与落地决策依据。