【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目
从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。
flashattention 标签归档
共 5 篇文章 · 返回首页
【大模型基础设施工程】02：GPU 计算入门——SM、Tensor Core、HBM、NVLink
从 CPU 与 GPU 的架构差异出发，讲清楚 SM、Warp、Tensor Core、HBM、NVLink 的工程含义，并结合 Roofline、FlashAttention 与国产算力栈，给出大模型工程师能直接上手的 GPU 心智模型。
【Transformer 与注意力机制】17｜Causal Mask：让模型只看过去不看未来
自回归模型训练要并行、生成不能偷看未来。本文从 teacher forcing 推到 mask 矩阵，对比 causal、prefix LM、滑窗与 packing 文档掩码，结合 KV cache 对齐、FlashAttention 跳块与 GPT-2 实测 attention sink，说明 mask 决定训练并…
【Transformer 与注意力机制】42｜FlashAttention：注意力计算的硬件级重写
FlashAttention 的关键不是近似注意力，也不是把公式改掉，而是重新安排标准 attention 在 GPU 内存层级里的计算路径。本文解释为什么标准 attention 的瓶颈常常是 HBM 读写，FlashAttention 如何用 tiling 和 online softmax 避免物化完整注意力矩阵…
【Transformer 与注意力机制】18｜注意力的复杂度问题
为什么 attention 是 O(n²)，O(n²) 到底贵在哪里，5 类降复杂度方案的优劣，FlashAttention 不是 O(n) 这件事，长上下文是怎么把架构师逼疯的。