moe 标签归档

共 5 篇文章 · 返回首页

【大模型基础设施工程·特别篇】28：DeepInfer 深度解析——DeepSeek 生产推理引擎开源了什么

2026-10-28 | architecture · ai-infra | #llm #infra #deepinfer #deepseek #inference #vllm #moe #mtp #sglang #ascend

对照固定版本源码，拆解 DeepInfer 的离线用法、kernels、EP/EPLB、DSpark、SWA 与 ZOS：解释优化的条件和代价，区分开源引擎、完整服务及营收口径。

【Transformer 与注意力机制】44｜MoE：稀疏激活的万亿模型路径

2026-08-06 | transformer | #transformer #moe #mixture-of-experts #sparse-activation #switch-transformer #gshard #expert-parallel #load-balancing

MoE 把参数量和每 token 计算量解耦，但代价从模型结构转移到了路由：过载丢 token、专家塌缩、路由抖动是训练现场的三种症状，All-to-All 通信是成本中心，小 batch 推理会让专家利用率变差。本文交代这些机制为什么会发生，以及负载均衡与质量的权衡为什么还没有定量答案。

【大模型基础设施工程】08：MoE 训练工程

2026-04-22 | architecture · ai-infra | #llm #infra #moe #mixture-of-experts #gshard #switch-transformer #mixtral #deepseek #deepep #megablocks #expert-parallel

混合专家（MoE）模型训练工程实战：从 GShard、Switch、Mixtral 到 DeepSeek-V3，覆盖门控、负载均衡、Expert Parallel、All-to-All 通信与 DeepEP / MegaBlocks 等开源栈

【大模型基础设施工程·特别篇】27：DeepSeek-V4 的极致性价比从哪来

2026-05-27 | architecture · ai-infra | #llm #infra #deepseek #moe #long-context #kv-cache #fp4 #muon #agent

从 MoE 激活比、CSA/HCA 混合注意力、mHC、Muon，到磁盘级 KV cache、FP4 QAT 和专家蒸馏，系统拆解 DeepSeek-V4 为什么能把 1M 上下文和强 Agent 能力做得又强又便宜。

【Transformer 与注意力机制】26｜前馈网络：那个看似平平无奇的两层 MLP，其实是「记忆」所在

2026-04-15 | transformer | #transformer #ffn #mlp #swiglu #moe

把 Transformer block 里那个看起来最不起眼的两层 MLP 真正讲清楚——4 倍扩张比的来历、逐位置而不是跨位置的设计、Geva 等人 2021 年提出的「键值记忆」视角、SwiGLU/GLU/GeGLU 的现代变体、参数量分布、可解释性研究、量化时的瓶颈，以及它和 MoE 的关系。