土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】通信与计算重叠：NCCL collective 与 kernel overlap

2026-06-28 | gpu · architecture | #cuda #nccl #overlap #cp-async #streams #allreduce #distributed

多卡训练/推理中，通信不与计算重叠就是纯开销。讲三个层次的重叠：kernel 内 cp.async 异步加载、kernel 间 stream 并发、分布式里 NCCL collective 与反向计算的重叠，以及 SM 资源争抢的代价。