土法炼钢 · 系统与基础设施

Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。

load-balancing 标签归档

共 17 篇文章 · 返回首页

负载均衡算法：P2C、平滑加权轮询与过时负载信息

2026-05-05 | algorithms · distributed | #load-balancing #power-of-two-choices #p2c #join-shortest-queue #smooth-weighted-round-robin #peak-ewma #nginx #envoy #grpc #prequal

从球箱模型与超市模型出发，用离散事件模拟比较随机、轮询、P2C、JSQ 在新鲜与过时负载信息下的平均与 p99 逗留时间，再对照 NGINX 1.26.2、Envoy v1.31.0、gRPC、Finagle 与 Prequal 说明各策略的真实实现与适用边界。

【Transformer 与注意力机制】44｜MoE：稀疏激活的万亿模型路径

2026-08-06 | transformer | #transformer #moe #mixture-of-experts #sparse-activation #switch-transformer #gshard #expert-parallel #load-balancing

MoE 把参数量和每 token 计算量解耦，但代价从模型结构转移到了路由：过载丢 token、专家塌缩、路由抖动是训练现场的三种症状，All-to-All 通信是成本中心，小 batch 推理会让专家利用率变差。本文交代这些机制为什么会发生，以及负载均衡与质量的权衡为什么还没有定量答案。