土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】Occupancy 与延迟隐藏：寄存器、shared memory 的取舍

2026-06-28 | gpu · architecture | #cuda #occupancy #latency-hiding #registers #shared-memory #register-spilling #launch-bounds

occupancy 是 SM 驻留 warp 与上限之比，由寄存器、shared memory、block 限制决定。实测访存密集 kernel 在约 33% occupancy 就饱和带宽，更高 occupancy 无益，并解释寄存器溢出为何让高 occupancy 反而变慢。