【Transformer 与注意力机制】34｜Scaling Laws：Kaplan 与 Chinchilla 之争，以及算力预算怎么分配
Kaplan（2020）第一次把 loss 随参数、数据、算力的幂律关系钉成经验规律，却因为训练配方设计的一个隐藏 bug 把配比钉歪了；Chinchilla（Hoffmann et al., 2022）用三种独立方法纠正过来，结论是很多大模型不是不够大，是每个参数看过的 token 不够多。本文用两篇论文的原始公式、Epoch AI 的复现危机和“过训/欠训”的真实工程后果，讲清楚 compute-optimal 到底在优化什么，以及这套规律正在被哪些新事实推着往前走。