土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】51｜量化、蒸馏、剪枝：压缩改变的是三种不同的东西

2026-08-06 | transformer | #transformer #quantization #distillation #pruning #compression #gptq #awq #kv-cache

量化、蒸馏、剪枝常被当成同一件事的三种手段——"让模型变小"，但它们改变的对象、误差来源和失败模式完全不同。本文从 weight-only 与 activation quantization 的假设差异、GPTQ/AWQ/SmoothQuant 的数学分野，讲到 attention、FFN、KV Cache 承受压缩代价的不同，以及 PPL 为什么骗过了很多人的质量评测。