土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】Kernel Fusion 与 epilogue：减少 HBM 往返

2026-06-28 | gpu · architecture | #cuda #kernel-fusion #epilogue #hbm #memory-bound #torch-compile #xla

融合通过减少中间结果的 HBM 往返提速 memory-bound 算子。实测逐元素链融合的加速比随链长线性增长（k=16 时 16.8 倍）。讲清逐元素融合、归约融合、GEMM epilogue 融合，以及什么时候不该融合。