quantization 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】51｜量化、蒸馏、剪枝：压缩改变的是三种不同的东西

2026-08-06 | transformer | #transformer #quantization #distillation #pruning #compression #gptq #awq #kv-cache

量化、蒸馏、剪枝常被当成同一件事的三种手段——"让模型变小"，但它们改变的对象、误差来源和失败模式完全不同。本文从 weight-only 与 activation quantization 的假设差异、GPTQ/AWQ/SmoothQuant 的数学分野，讲到 attention、FFN、KV Cache 承受压缩代价的不同，以及 PPL 为什么骗过了很多人的质量评测。

【GPU 算子工程】量化与多精度算子：INT8 / FP8、反量化与 per-channel

2026-06-28 | gpu · architecture | #cuda #quantization #int8 #fp8 #fp16 #dequantization #per-channel #dp4a

低精度既省显存带宽又提算力。实测 FP16 逐元素算子比 FP32 快 1.81 倍。讲清量化的对称/非对称、per-tensor/per-channel 粒度、反量化时机、INT8 dp4a 与 Tensor Core 路径，以及精度对齐的工程坑。

【大模型基础设施工程】14：量化工程 —— INT8 / FP8 / FP4 / AWQ / GPTQ

2026-04-22 | architecture · ai-infra | #llm #infra #quantization #fp8 #fp4 #int8 #int4 #awq #gptq #smoothquant #bitnet #transformer-engine

从数据类型、PTQ/QAT 算法、KV Cache 量化到 H100/B200/MI300/昇腾硬件支持，覆盖 AutoAWQ、GPTQ、SmoothQuant、BitNet 与 vLLM/TensorRT-LLM/llama.cpp 工程落地