土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】GEMM：从朴素实现到 shared memory tiling 与寄存器分块

2026-06-28 | gpu · architecture | #cuda #gemm #matmul #tiling #shared-memory #register-blocking #arithmetic-intensity

GEMM 是 GPU 算子优化的标杆。在 RTX 3060 Ti 上实测四个版本：朴素 990、shared tiling 1309、寄存器分块 64 达 4447、128 达 6375 GFLOP/s（峰值 39%）。讲清每一步优化提高的是什么，以及为什么数据复用是关键。