【大模型基础设施工程·特别篇】30：推理算子与内核——Attention/GEMM/采样对比、工程实践与真实项目
从服务视角拆推理算子层：Attention 家族、GEMM/量化、采样与 MoE 的多维对比，引擎如何选 backend，Nsight 实践路径，以及 vLLM/SGLang/TRT-LLM/DeepInfer 的真实落点（定性，非 tok/s 排行）。
cudnn 标签归档
共 3 篇文章 · 返回首页
【大模型基础设施工程】03：CUDA 生态——cuBLAS、cuDNN、NCCL、Triton、CUTLASS
从 nvcc 到 Triton，把 NVIDIA 软件栈的每一层拆给大模型工程师看，顺便谈谈 ROCm、CANN 为什么一直追不上。
【GPU 算子工程】全景：算子工程在 AI 计算栈的位置
从框架一行 matmul 到 PTX/SASS，拆开 AI 计算栈的分层：框架算子、算子库、手写 kernel、编译器生成。回答工程师什么时候才需要自己写或调 kernel，以及本系列的实验环境与方法。