土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】调试与数值正确性：compute-sanitizer 与对齐测试

2026-06-28 | gpu · architecture | #cuda #debugging #compute-sanitizer #race-condition #numerical-correctness #floating-point #testing

GPU kernel 的 bug 分两类：内存/竞态错误和数值错误。讲 compute-sanitizer 查越界与 race、对参考实现做容差对齐（实测 FlashAttention 误差 4e-7）、浮点非结合性带来的不可复现，以及常见同步陷阱。