hbm 标签归档

共 3 篇文章 · 返回首页

【GPU 算子工程】Kernel Fusion 与 epilogue：减少 HBM 往返

融合通过减少中间结果的 HBM 往返提速 memory-bound 算子。实测逐元素链融合的加速比随链长线性增长（k=16 时 16.8 倍）。讲清逐元素融合、归约融合、GEMM epilogue 融合，以及什么时候不该融合。

拆开 GPU 的存储金字塔：寄存器、shared memory、L1/L2、global memory 的容量、带宽与延迟量级。用实测展示 L2 命中（约 3.4 TB/s）与 DRAM（约 400 GB/s）相差近一个数量级，解释为什么数据放哪决定算子性能。

从 CPU 与 GPU 的架构差异出发，讲清楚 SM、Warp、Tensor Core、HBM、NVLink 的工程含义，并结合 Roofline、FlashAttention 与国产算力栈，给出大模型工程师能直接上手的 GPU 心智模型。