土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】Reduction 与 Scan：warp shuffle、block 级与 grid 级归约

2026-06-28 | gpu · architecture | #cuda #reduction #scan #warp-shuffle #prefix-sum #shfl-down #atomics

归约是协作类算子的入门。实测三种 block 内归约树：发散+bank conflict 75ms、顺序寻址 44ms、warp shuffle 22ms。同时揭示单遍归约受访存限制时这些优化为何不可见，以及 scan 的并行思路。