vllm 标签归档 | 土法炼钢 · 系统与基础设施

【大模型基础设施工程】14：量化工程 —— INT8 / FP8 / FP4 / AWQ / GPTQ 怎么选

2026-04-22 | architecture · ai-infra | #llm #infra #quantization #fp8 #fp4 #mxfp4 #int8 #int4 #awq #gptq #smoothquant #kv-cache #vllm #tensorrt-llm

decode 受显存带宽限制，量化把权重从 BF16 压到 FP8 或 INT4 就能直接换来显存和延迟收益。本文讲清 FP8/FP4/MX 数据类型、GPTQ/AWQ/SmoothQuant/旋转法各自解决什么问题、KV Cache 量化的收益边界，给出按硬件选位宽的规则和 AutoAWQ + vLLM、TensorRT-LLM FP8 的落地命令。

【大模型基础设施工程】12：PagedAttention 与 Continuous Batching

2026-04-22 | architecture · ai-infra | #llm #infra #vllm #pagedattention #continuous-batching #chunked-prefill #prefix-cache #radixattention #sglang

PagedAttention 与 Continuous Batching 如何抬高推理吞吐：KV Cache 分页、批调度与工程取舍。

大模型基础设施工程

2026-04-22 | architecture · ai-infra | #llm #infra #training #inference #rag #agent #vllm #sglang #deepseek #llmops

面向中国工程团队的大模型基础设施系列。从 GPU/CUDA/互联、训练框架与 3D 并行、vLLM/SGLang 推理引擎、量化与推测解码、RAG/Agent 到服务化、网关、可观测性与安全合规，覆盖 LLMOps 全链路。

【大模型基础设施工程】13：vLLM / SGLang / TensorRT-LLM / TGI 对比

2026-04-22 | architecture · ai-infra | #llm #infra #vllm #sglang #tensorrt-llm #tgi #lmdeploy #mindie #inference-engine #flashinfer

主流推理引擎的架构、性能、生态深度对比，给出工程选型与落地决策依据。

【强化学习与大模型后训练】17｜RL 训练基础设施：采样-训练分离与 PPO 编排

2026-05-29 | rl-posttraining | #rlhf #ppo #rollout #vllm #sglang #fsdp #megatron #deepspeed #verl #openrlhf

从 rollout、奖励计算、价值估计到策略更新，拆解 LLM 在线 RL 的系统拓扑、资源瓶颈和同步边界。