【Transformer 与注意力机制】44|MoE:稀疏激活的万亿模型路径
严格推导 MoE Top-k 门控梯度流与 Switch 辅助损失 Cauchy-Schwarz 极小值条件,完成 2-Token 4-Expert Top-2 手算与 NumPy 验证,拆解 DeepSeek 无辅助损失路由、All-to-All 通信墙与小 Batch 推理瓶颈。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 2 篇文章 · 返回首页
严格推导 MoE Top-k 门控梯度流与 Switch 辅助损失 Cauchy-Schwarz 极小值条件,完成 2-Token 4-Expert Top-2 手算与 NumPy 验证,拆解 DeepSeek 无辅助损失路由、All-to-All 通信墙与小 Batch 推理瓶颈。
混合专家(MoE)训练工程实战:从 GShard、Switch、Mixtral、DeepSeek-V3 到 Qwen3-MoE,拆解门控路由、无辅助损失负载均衡、Expert Parallel、DeepEP All-to-All 与 FP8/DualPipe。