【Transformer 与注意力机制】34｜Scaling Laws：Kaplan 与 Chinchilla 之争，以及算力预算怎么分配
Kaplan（2020）第一次把 loss 随参数、数据、算力的幂律关系钉成经验规律，却因为训练配方设计的一个隐藏 bug 把配比钉歪了；Chinchilla（Hoffmann et al., 2022）用三种独立方法纠正过来，结论是很多大模型不是不够大，是每个参数看过的 token 不够多。本文用两篇论文的原始公式…
data-constrained-scaling 标签归档
共 1 篇文章 · 返回首页