【大模型基础设施工程·特别篇】28：DeepInfer 深度解析——DeepSeek 生产推理引擎开源了什么
对照固定版本源码，拆解 DeepInfer 的离线用法、kernels、EP/EPLB、DSpark、SWA 与 ZOS：解释优化的条件和代价，区分开源引擎、完整服务及营收口径。
vllm 标签归档
共 8 篇文章 · 返回首页
【大模型基础设施工程·特别篇】29：推理框架详解——为啥需要、做什么、底层举例与部署 Demo
从一次 generate 到并发服务，拆解调度、KV、并行与采样的职责；用 Roofline、分页写入和逐步调度解释成本，给出按官方文档核对的部署 Demo（未实跑模型服务）。
【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目
从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。
大模型基础设施工程
面向中国工程团队的大模型基础设施系列。从 GPU/CUDA/互联、训练框架与 3D 并行、vLLM/SGLang 推理引擎、量化与推测解码、RAG/Agent 到服务化、网关、可观测性与安全合规，覆盖 LLMOps 全链路。
【大模型基础设施工程】13：vLLM / SGLang / TensorRT-LLM / TGI 对比
主流推理引擎的架构、性能、生态深度对比，给出工程选型与落地决策依据。
【大模型基础设施工程】14：量化工程 —— INT8 / FP8 / FP4 / AWQ / GPTQ 怎么选
decode 受显存带宽限制，量化把权重从 BF16 压到 FP8 或 INT4 就能直接换来显存和延迟收益。本文讲清 FP8/FP4/MX 数据类型、GPTQ/AWQ/SmoothQuant/旋转法各自解决什么问题、KV Cache 量化的收益边界，给出按硬件选位宽的规则和 AutoAWQ + vLLM、Tenso…
【大模型基础设施工程】12：PagedAttention 与 Continuous Batching
PagedAttention 与 Continuous Batching 如何抬高推理吞吐：KV Cache 分页、批调度与工程取舍。
【强化学习与大模型后训练】17｜RL 训练基础设施：采样-训练分离与 PPO 编排
从 rollout、奖励计算、价值估计到策略更新，拆解 LLM 在线 RL 的系统拓扑、资源瓶颈和同步边界。