【大模型基础设施工程】13:vLLM / SGLang / TensorRT-LLM 对比
对照 2026 年主流引擎最新架构(vLLM V1 EngineCore、SGLang RadixCache、TensorRT-LLM PyTorch 后端、已归档的 TGI 与昇腾生态),给出技术机制对照、修正版压测脚本与选型决策树。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 2 篇文章 · 返回首页
对照 2026 年主流引擎最新架构(vLLM V1 EngineCore、SGLang RadixCache、TensorRT-LLM PyTorch 后端、已归档的 TGI 与昇腾生态),给出技术机制对照、修正版压测脚本与选型决策树。
从 3FS、CRAQ 与 USRBIO 到 Mooncake、CacheBlend 与 NVIDIA NIXL:拆解训练数据/检查点与分布式 KV 缓存池的存储系统工程、传输盈亏公式与多租户安全边界。