【大模型基础设施工程·特别篇】28：DeepInfer 深度解析——DeepSeek 生产推理引擎开源了什么
对照固定版本源码，拆解 DeepInfer 的离线用法、kernels、EP/EPLB、DSpark、SWA 与 ZOS：解释优化的条件和代价，区分开源引擎、完整服务及营收口径。
inference 标签归档
共 9 篇文章 · 返回首页
【大模型基础设施工程·特别篇】29：推理框架详解——为啥需要、做什么、底层举例与部署 Demo
从一次 generate 到并发服务，拆解调度、KV、并行与采样的职责；用 Roofline、分页写入和逐步调度解释成本，给出按官方文档核对的部署 Demo（未实跑模型服务）。
【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目
从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。
大模型基础设施工程
面向中国工程团队的大模型基础设施系列。从 GPU/CUDA/互联、训练框架与 3D 并行、vLLM/SGLang 推理引擎、量化与推测解码、RAG/Agent 到服务化、网关、可观测性与安全合规，覆盖 LLMOps 全链路。
【大模型基础设施工程】01：大模型基础设施全景 —— 训练、推理、RAG、Agent、观测
面向工程师的大模型基础设施开篇地图，覆盖 2022 到 2026 的工程分水岭、五层工程栈、训练与推理的工程差异、中国与全球行业版图以及成本曲线。
【大模型基础设施工程】11：推理引擎基础
从 Prefill/Decode 两阶段、KV Cache、Continuous Batching 到 PD 分离，系统讲清楚大模型推理的工程基础。
【Transformer 与注意力机制】49｜KV Cache：推理为什么是 O(n) 不是 O(n²)
自回归推理里，历史 token 的 K/V 因果掩码下不变、可以缓存，Q 不行——本文给出可自证的归纳证明，推导显存公式与长上下文并发上限，拆解 MQA/GQA/MLA、PagedAttention、cache 量化三条正交压缩路线各解决哪一项，并给出结构性压缩路线上一处工业选择分歧与两个开放问题。
【Transformer 与注意力机制】50｜Speculative Decoding：用小模型加速大模型
KV Cache 后 decode 仍是显存带宽受限的串行循环。本文给出投机解码的接受-拒绝公式与正确性证明，推导接受率如何决定加速比，用实测数据说明批大小何时让投机解码倒贴，并只钉住 Medusa/EAGLE/MTP 的原理差异。
【大模型基础设施工程·特别篇】DeepSeek-V4 与国产芯片：从备份路线到主路径
DeepSeek-V4 发布后，如果国产芯片已经支撑旗舰模型的关键训练或推理链路，它会怎样影响 NVIDIA 生态、国产 AI 芯片、云厂商、模型团队和工程师的技术选择？