土法炼钢兴趣小组的算法知识备份

GPU 显存管理与模型量化：从 OOM 到上线的工程路径

2027-01-25 | ai-systems | #gpu #vram #quantization #int8 #int4 #gptq #awq #mig #mps #oom #llm-inference #vllm #trt-llm

模型能跑了不代表能上线。24GB 的 4090 装不下 70B 模型？那就量化。量化完精度崩了？从显存碎片到 MIG 隔离，从 GPTQ 到 AWQ，这篇拆解从 OOM 到生产部署的完整工程路径。