lmdeploy 标签归档 | 土法炼钢 · 系统与基础设施

lmdeploy 标签归档

共 2 篇文章 · 返回首页

【大模型基础设施工程·特别篇】29：推理框架详解——为啥需要、做什么、底层举例与部署 Demo

2026-10-29 | architecture · ai-infra | #llm #infra #inference #vllm #sglang #tensorrt-llm #lmdeploy #mindie #deepinfer #serving

从一次 generate 到并发服务，拆解调度、KV、并行与采样的职责；用 Roofline、分页写入和逐步调度解释成本，给出按官方文档核对的部署 Demo（未实跑模型服务）。

【大模型基础设施工程】13：vLLM / SGLang / TensorRT-LLM / TGI 对比

2026-04-22 | architecture · ai-infra | #llm #infra #vllm #sglang #tensorrt-llm #tgi #lmdeploy #mindie #inference-engine #flashinfer

主流推理引擎的架构、性能、生态深度对比，给出工程选型与落地决策依据。