【GPU 算子工程】Triton:tile 级编程模型与 autotune
Triton 用 tile(block of pointers)抽象替代 CUDA 的单线程视角,把合并访问、shared 管理、bank conflict 交给编译器,配合 autotune 自动搜配置。讲清它的编程模型、与手写 CUDA 的能力边界,以及为什么它成了算子开发主力。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 2 篇文章 · 返回首页
Triton 用 tile(block of pointers)抽象替代 CUDA 的单线程视角,把合并访问、shared 管理、bank conflict 交给编译器,配合 autotune 自动搜配置。讲清它的编程模型、与手写 CUDA 的能力边界,以及为什么它成了算子开发主力。
单个 kernel 到可维护算子库的工程问题:按 shape/dtype/arch 选 kernel 的 dispatch、autotune 结果缓存、AOT 与 JIT(NVRTC 运行时编译)的取舍。以本系列实际用的 NVRTC JIT 流程为例。