土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】算子库工程：dispatch、autotune cache 与 JIT

2026-06-28 | gpu · architecture | #cuda #nvrtc #jit #dispatch #autotune #kernel-library #aot

单个 kernel 到可维护算子库的工程问题：按 shape/dtype/arch 选 kernel 的 dispatch、autotune 结果缓存、AOT 与 JIT（NVRTC 运行时编译）的取舍。以本系列实际用的 NVRTC JIT 流程为例。