【大模型基础设施工程】08:MoE 训练工程
混合专家(MoE)训练工程实战:从 GShard、Switch、Mixtral、DeepSeek-V3 到 Qwen3-MoE,拆解门控路由、无辅助损失负载均衡、Expert Parallel、DeepEP All-to-All 与 FP8/DualPipe。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 1 篇文章 · 返回首页
混合专家(MoE)训练工程实战:从 GShard、Switch、Mixtral、DeepSeek-V3 到 Qwen3-MoE,拆解门控路由、无辅助损失负载均衡、Expert Parallel、DeepEP All-to-All 与 FP8/DualPipe。