tensorrt-llm 标签归档

共 4 篇文章 · 返回首页

【大模型基础设施工程·特别篇】29：推理框架详解——为啥需要、做什么、底层举例与部署 Demo

2026-10-29 | architecture · ai-infra | #llm #infra #inference #vllm #sglang #tensorrt-llm #lmdeploy #mindie #deepinfer #serving

从一次 generate 到并发服务，拆解调度、KV、并行与采样的职责；用 Roofline、分页写入和逐步调度解释成本，给出按官方文档核对的部署 Demo（未实跑模型服务）。

【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目

2026-10-29 | architecture · ai-infra | #llm #infra #inference #kernel #flashattention #flashinfer #cudnn #tensorrt-llm #vllm #sglang #deepinfer

从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。

【大模型基础设施工程】13：vLLM / SGLang / TensorRT-LLM / TGI 对比

2026-04-22 | architecture · ai-infra | #llm #infra #vllm #sglang #tensorrt-llm #tgi #lmdeploy #mindie #inference-engine #flashinfer

主流推理引擎的架构、性能、生态深度对比，给出工程选型与落地决策依据。

【大模型基础设施工程】14：量化工程 —— INT8 / FP8 / FP4 / AWQ / GPTQ 怎么选

2026-04-22 | architecture · ai-infra | #llm #infra #quantization #fp8 #fp4 #mxfp4 #int8 #int4 #awq #gptq #smoothquant #kv-cache #vllm #tensorrt-llm

decode 受显存带宽限制，量化把权重从 BF16 压到 FP8 或 INT4 就能直接换来显存和延迟收益。本文讲清 FP8/FP4/MX 数据类型、GPTQ/AWQ/SmoothQuant/旋转法各自解决什么问题、KV Cache 量化的收益边界，给出按硬件选位宽的规则和 AutoAWQ + vLLM、Tenso…