土法炼钢兴趣小组的算法知识备份

【GPU 算子工程】FlashAttention：在线 softmax 与 IO-aware 注意力

2026-06-28 | gpu · architecture | #cuda #flash-attention #attention #online-softmax #io-aware #transformer #recompute

FlashAttention 把注意力重写成分块的在线 softmax，不落地 N×N 分数矩阵，用重算换访存。本文推导算法、给出实测正确的简化实现（误差 4e-7、避免 16.8MB 分数矩阵），并引用原论文的加速与显存数据。