【Transformer 与注意力机制】34｜Scaling Laws：Kaplan 与 Chinchilla 之争，以及算力预算怎么分配

如果你只是读论文摘要，Scaling Laws 这条线看起来平淡无奇：模型越大、数据越多、算力越足，loss 越低，几乎是常识的重复。但如果你真的坐下来算一次算力预算——给定一笔可以烧掉的 GPU-小时数，要不要把它换成更大的模型，还是换成更长的训练——就会撞上一个不那么直觉的事实：2020 年到 2022 年间，整个行业用来做这道题的公式本身是错的，而且错的方向很系统：一直建议把模型做得比该做的更大，数据看得比该看的更少。

这不是夸张的说法。OpenAI 的 Kaplan et al.（2020，Scaling Laws for Neural Language Models）第一次把“loss 随规模变化”钉成了可以拟合的幂律，但他们据此给出的 compute-optimal 配比建议模型大小要以 \(C^{0.73}\) 增长、数据只需要以 \(C^{0.27}\) 增长——算力翻十倍，模型翻大八倍多，数据只需要翻大约两倍。DeepMind 的 Hoffmann et al.（2022，Training Compute-Optimal Large Language Models，即 Chinchilla 论文）用三种完全独立的方法重新测量了这件事，得到的答案几乎是 \(C^{0.5}\) 对 \(C^{0.5}\)——模型和数据应该等比例增长。这两个指数差出去一大截，不是因为 Chinchilla 发现了什么新物理规律，而是因为 Kaplan 的实验设计里有一个对最终结论致命的细节被漏掉了。搞清楚这个细节，比记住“20 tokens per parameter”这句口号重要得多，因为它是这个领域里少数几个“只有真的复现过、算过预算才会撞见”的坑。

本篇要交代四件事：Kaplan 和 Chinchilla 各自量出了什么、为什么两边差这么远；compute-optimal 这个词精确指什么，不指什么；过训小模型和欠训大模型在真实工程决策里是不对称的两种错误；以及这条规律本身正在被复现危机和数据受限现实推向哪些开放问题。54｜涌现能力 和 55｜Transformer 的根本局限 分别讨论下游能力指标的跳跃和架构本身的复杂度下界，本篇不重复那两条线，只钉住一件事：给定一笔算力，参数和数据应该怎么分。

一、三角约束：一次训练决策同时锁死什么

给定训练计算量的一个粗略近似 \(C \approx 6ND\)（\(N\) 是参数量，\(D\) 是训练 token 数，系数 6 来自一次前向 \(2ND\) FLOPs、反向传播约两倍于前向，Kaplan et al. 首先给出，Chinchilla 论文核实过这个近似和精确 FLOP 计数的差异很小），任何一次预训练在开工前都要回答同一个问题：同样这笔 \(C\)，\(N\) 和 \(D\) 各分多少？

这个问题看起来只是工程参数选择，但它其实同时锁死了三件事的下限：

• 模型的容量上限——参数量决定了这个模型理论上能表示多复杂的函数；
• 训练是否把这份容量用满——同一个 \(N\)，如果 \(D\) 太小，很多参数根本没有被有效训练过；
• 最终 loss 落在哪个点——它是 \(N\) 和 \(D\) 共同决定的，谁增大到什么程度、loss 下降到什么程度，这条关系不是常识就能猜出来的，需要实测拟合。

三角关系里真正容易被误判的是：同一笔预算，多分给 \(N\) 还是多分给 \(D\)，最终 loss 差多少？ 这不是一个“看情况”式的模糊问题，Kaplan 和 Chinchilla 分别给出了两个数字答案，只是其中一个是错的。

二、Kaplan（2020）：幂律第一次被钉成规律，配比却给歪了

Kaplan et al. 训练了大量不同规模的 Transformer，观察 cross-entropy loss 跨越七个数量级的变化——论文摘要里特别强调“部分趋势跨越了七个数量级”，拟合出的核心结论是两条独立的幂律：

\[ L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad \alpha_N \approx 0.076,\ N_c \approx 8.8 \times 10^{13} \]

\[ L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad \alpha_D \approx 0.095,\ D_c \approx 5.4 \times 10^{13}\ \text{tokens} \]

这两条曲线分别衡量“参数量不受限、数据训到收敛”和“数据不受限、模型早停”两种极限情形下 loss 怎么随规模改善。真正决定行业走向的是论文附录里给出的第三条结论——在固定算力 \(C_{\min}\) 下，怎么把它分给 \(N\) 和 \(D\) 才能让 loss 最低。Kaplan et al. 给出的答案（论文 Table 6）是：

\[ N_{\text{opt}} \propto C^{0.73}, \qquad D_{\text{opt}} \propto C^{0.27} \]

这条配比意味着算力预算每增加十倍，模型参数量应该增加约 \(10^{0.73} \approx 5.4\) 倍，训练 token 数只需要增加约 \(10^{0.27} \approx 1.9\) 倍。换算成“每个参数看过多少 token”，这个比例会随算力增长持续下降——预算越大，越应该把钱砸进参数而不是数据。论文原文对这条结论的措辞很直接：“optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence”（compute-efficient 的训练应该用相对不多的数据训练非常大的模型，并在远未收敛前就停止）。

这条结论在 2020 到 2022 年间几乎是行业默认的心智模型：GPT-3（175B 参数，训练约 3000 亿 token，折算约 1.7 tokens/parameter）、Gopher（280B 参数，训练 3000 亿 token，折算约 1.07 tokens/parameter）都符合“模型很大、数据相对少”这个配方。这不是巧合，是 Kaplan 的公式在告诉大家该这么做。

三、Chinchilla（2022）：三种独立方法都反对 Kaplan 的配比

Hoffmann et al. 训练了超过 400 个模型，参数量从 7000 万到超过 160 亿，训练 token 数从 50 亿到超过 4000 亿——规模比 Kaplan 的实验大了一圈，用三种互相独立的方法重新回答同一个问题。

方法一（固定模型大小，扫训练步数）：对每个参数量（7000 万到超过 100 亿），训练 4 个不同 token 预算的版本，从训练曲线里抽取“给定 FLOPs 下能达到的最低 loss”这条包络线，它直接给出每个 FLOPs 值对应的最优 \((N, D)\)。拟合结果：\(N_{\text{opt}} \propto C^{0.50}\)，\(D_{\text{opt}} \propto C^{0.50}\)。

方法二（IsoFLOP profile）：反过来固定 9 个 FLOPs 预算（从 \(6\times10^{18}\) 到 \(3\times10^{21}\)），在每个预算下扫描不同的模型大小，画出 loss 相对模型大小的曲线——由于总算力固定，模型越大意味着能看到的 token 越少，这条曲线在 log-模型大小坐标下呈现出一个抛底形状：模型太小，容量不够；模型太大，训练 token 不够；两头都不是最优，曲线底部的最小值点，就是这笔 FLOPs 预算下的最优模型大小。九个预算各自的最小值点连起来，同样拟合出 \(a \approx 0.49\)，\(b \approx 0.51\)。

方法三（参数化拟合 loss 函数）：直接对 \((N, D)\) 空间拟合一个联合的解析式：

\[ \hat{L}(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} \]

用全部 400 多个训练运行的数据拟合出 \(E = 1.69\)，\(A = 406.4\)，\(B = 410.7\)，\(\alpha = 0.34\)，\(\beta = 0.28\)。这个式子里 \(E\) 是不可约损失（irreducible loss，对应自然语言本身的熵下界），\(A/N^\alpha\) 和 \(B/D^\beta\) 分别是模型容量不足和数据不足各自带来的额外损失。在 \(\text{FLOPs}(N,D) = C\) 的约束下最小化这个式子，得到 \(a \approx 0.46\)，\(b \approx 0.54\)（论文附录 D.2，Equation 10）。

三种方法用的实验设计完全不同——一种看训练曲线包络，一种看固定预算下扫模型大小，一种直接拟合联合函数——却几乎一致地指向同一个答案：参数量和训练 token 数应该以几乎相等的速率增长，而不是 Kaplan 给出的 \(0.73\) 对 \(0.27\)。论文原话把这个反差写得很清楚：“our analysis predicts that both quantities should scale at roughly the same rate”，“This is in clear contrast to previous work on this topic and warrants further investigation”。

Hoffmann et al. 用这个结论反推：Gopher 用来训练的算力，如果按 compute-optimal 配比重新分配，最优模型大小应该在 400 亿到 700 亿参数之间，而 Gopher 实际训了 2800 亿参数。他们据此训练了一个 70B 参数、1.4 万亿 token 的模型——这个 tokens/parameter 比例约为 20，也就是后来广为流传的“20 tokens per parameter”经验法则的直接来源——并把它命名为 Chinchilla。结果是：Chinchilla（70B）在几乎所有下游评测上一致优于参数量四倍于它的 Gopher（280B）、GPT-3（175B）、Jurassic-1（178B）和 Megatron-Turing NLG（530B），在 MMLU 上达到 67.5% 的平均准确率，比 Gopher 高出超过 7 个百分点，而且因为模型小了四倍，微调和推理成本也随之下降。这不是一次拟合曲线的胜利，是一次用四分之一参数、四倍数据训出来的模型在同等算力下正面打赢的胜利。

四、真正的分歧点：不是发现了新规律，是训练配方设计的差异

这里最容易被讲成“Chinchilla 推翻了 Kaplan”，但这个说法太粗糙。更准确、也更有工程价值的说法是：Hoffmann et al. 自己在论文里指出了 Kaplan et al. 实验设计里的一个具体缺陷，这个缺陷系统性地压低了“少训练 token”配置的表现，从而把整条拟合曲线的最优解推向了“模型更大、数据更少”。

Kaplan et al. 对所有模型大小使用同一个固定长度的学习率余弦调度，调度长度按最大的那次训练运行设定。问题在于：如果一个模型只训练到调度长度的一小部分就停止（比如调度设定为衰减到 1300 亿 token，但只训了 100 亿 token 就要取那个中间点的 loss），这个中间 loss 会系统性地比“调度长度本来就设为 100 亿 token”训出来的 loss 更差——因为学习率还没有衰减到位，模型还在相对大步长的阶段。Chinchilla 论文的 Section 2 直接点出这一点，并给出了自己的解决办法：让余弦调度的长度跟每次训练 run 实际的 token 预算匹配，而不是固定用同一个调度长度去截取中间点。他们在附录 B 的实验里验证：“setting the learning rate schedule to approximately match the number of training tokens results in the best final loss regardless of model size”。

这个差异带来的偏差方向正好解释了 Kaplan 结论为什么会偏向“少训练数据”：用固定长调度截取出来的“训练 token 数较少”那些数据点，loss 被系统性高估了，这会让拟合算法误以为“减少训练 token、换更大模型”比实际情况更划算，进而把 \(D_{\text{opt}} \propto C^b\) 里的指数 \(b\) 拟合得比真实值更小。Chinchilla 论文补充的第二个差异是模型规模覆盖范围：Kaplan et al. 的实验里多数模型小于一亿参数；他们自己的实验里多数模型超过五亿参数，覆盖到 160 亿，论文附录 E 指出 FLOPs-loss 边界在更大规模上存在轻微曲率，小模型区间的外推同样会带偏结论。

这条差异的价值不在于“谁对谁错”这种胜负叙事，它给后来所有做 scaling law 实验的人留下一条具体的方法论教训：scaling law 拟合出来的指数，对训练配方里“学习率调度怎么设”这类看似和 \(N\)、\(D\) 无关的细节高度敏感。如果不控制这个变量，测出来的不是“参数和数据该怎么配”，而是“学习率调度设计有多大的系统性偏差”。这正是为什么本文开头说这是“只有真的算过算力预算才会撞见”的坑——它不会写在任何一张 scaling law 的示意图里，只会在想复现别人的配比、结果训出来的模型莫名其妙不如预期时才暴露出来。

五、compute-optimal 到底在优化什么：IsoFLOP 曲线为什么是一个抛底

“compute-optimal”这个词经常被误读成“绝对最强”，更准确的意思是：在固定训练 FLOPs 预算下，怎样分配 \(N\) 和 \(D\)，能让最终 loss 最低。 第三节的方法二（IsoFLOP profile）给出的几何直觉最清楚：固定一个 FLOPs 预算 \(C\)，因为 \(D \approx C/(6N)\)，模型大小 \(N\) 一旦选定，训练 token 数就被反过来定死了。这时候把 loss 画成 \(\log N\) 的函数，会呈现出一个明确的抛底形状——不是平的，也不是单调下降的：

• \(N\) 太小：即使把 \(D = C/(6N)\) 换算出来的海量 token 全喂进去，模型容量本身不够，多余的数据边际收益迅速归零，甚至因为学习率调度被拉得过长而恶化最终 loss；
• \(N\) 太大：可用的训练 token \(D\) 被压缩到很小，大模型的每个参数只能看到极少量的更新信号，loss 反而因为训练不充分而抬高；
• 中间存在一个明确的最小值点，这个点就是这笔 FLOPs 预算下的 \(N_{\text{opt}}\)。

九个不同 FLOPs 预算各自的抛底最小值点连起来，就是 Chinchilla 论文报告的 compute-optimal frontier，这条曲线本身携带的信息量，远比“20 tokens per parameter”这句简化口号丰富——它给出的是一整条曲线，“20”只是这条曲线在 Gopher 那个算力量级附近的一个近似读数。这也是为什么第七节会看到，一旦预算规模、目标函数（训练 loss 还是全生命周期成本）发生变化，这个“20”会明显偏移。

六、过训小模型 vs 欠训大模型：工程后果不对称

Chinchilla 修正的直接后果，是行业普遍意识到 2020 到 2022 年间训练的大量“大模型”其实是欠训练的大模型（undertrained large model）：参数很多，但每个参数看过的 token 太少，容量没被喂饱。这个判断有实测支撑——Chinchilla 用四分之一的参数、四倍的数据，在同等算力下正面打赢了 Gopher。

但这里有一个容易被简化掉的反面：“训练 compute-optimal”和“部署最优”不是同一个目标函数，Chinchilla 的三种方法优化的都是“给定训练 FLOPs，最小化训练 loss”，完全没有把推理成本算进去。Sardana、Portes、Doubov 和 Frankle 在 ICML 2024（Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws）把这个缺口补上：他们改写 Chinchilla 的公式，把“这个模型这一生要处理多少推理请求”也算进总成本里，结论是——如果预期推理需求足够大（论文给出的量级是十亿次请求），训一个比 Chinchilla-optimal 更小、但训练 token 数更多的模型，全生命周期总成本反而更低，因为推理成本会随请求量线性累积，更小的模型每次推理更便宜；他们训练了 47 个模型系统验证这条公式，还发现即使把 tokens/parameter 比例推到极端的 10000（远超 Chinchilla 论文实验覆盖的范围），模型质量仍在继续改善，没有明显触顶。

这条结论在真实产品里已经能看到痕迹。Meta 的 Llama 2（Touvron et al., 2023）7B、13B、70B 三个模型共享同一份 2 万亿 token 的预训练语料——这意味着 7B 模型的 tokens/parameter 比例高达约 286，13B 约为 154，都远远超过 Chinchilla 建议的 20 左右；只有 70B 模型的比例（约 29）比较接近 Chinchilla 附近。这不是团队没读过 Chinchilla 论文，而是 7B、13B 这两个尺寸本来就是为大规模推理部署设计的——它们要跑在更便宜的硬件上、服务更大的请求量，训练阶段“故意”多喂几倍的 token，用训练时的算力换推理时的效率。这正是“过训小模型”在 Sardana et al. 的框架下变成了理性选择，而不是对 Chinchilla 结论的误用。

把这两种“错误”并排放在一起看，工程后果并不对称：

• 欠训大模型（Kaplan 时代的默认配方）：浪费的是训练算力本身——同样的 \(C\)，换一个更合理的配比就能拿到更低的 loss，Chinchilla vs Gopher 的对比已经把这笔账算得很清楚；
• 过训小模型（推理需求驱动的现代配方）：从纯训练 loss 的角度看不是 compute-optimal，但如果算上未来要处理的海量推理请求，总成本反而更低——这不是对 scaling law 的偏离，是目标函数本身从“训练 loss 最小”换成了“全生命周期成本最小”。

读 Chinchilla 论文时最容易漏掉的一句免责声明：论文标题里“Compute-Optimal”这四个字，指的是训练算力，不是部署以后的总账。混淆这两件事，会让人错误地把“Llama 系列没有严格遵守 20 tokens/parameter”读成“违反了 scaling law”，实际上它们是在优化一个 Chinchilla 论文本身没有覆盖的目标函数。

七、争论一：Chinchilla 的复现危机——Epoch AI 的重新拟合

第三节提到 Chinchilla 用三种方法互相印证了 \(a \approx b \approx 0.5\) 这个结论，但这三种方法给出的精确数值其实并不完全一致（方法一是 \(0.50/0.50\)，方法二是 \(0.49/0.51\)，方法三是 \(0.46/0.54\)），而且方法三报告的置信区间（\(\alpha\) 的 90% 区间是 \([0.454, 0.455]\)，\(\beta\) 是 \([0.542, 0.543]\)）窄到近乎可疑。

Besiroglu、Erdil、Barnett 和 You 在 Epoch AI 发表的复现研究（Chinchilla Scaling: A Replication Attempt，arXiv:2404.10102，2024）专门核查了这一点。他们从 Chinchilla 论文的图表里重建原始数据点，重新走一遍方法三的参数化拟合流程，发现了两个问题：第一，Hoffmann et al. 报告的置信区间窄到不合理——按论文描述的样本量（约 400 次实验），要达到那么窄的区间理论上需要超过 60 万次实验；第二，方法三拟合出来的 compute-optimal 配比，如果代入 Chinchilla 实际使用的算力预算，会建议约 70 tokens/parameter，这和方法一、方法二给出的约 20 tokens/parameter、以及 Chinchilla 模型实际训练时用的 20 tokens/parameter 都不一致——也就是说，Chinchilla 论文自己报告的方法三，内部就和另外两种方法互相矛盾。

Epoch AI 团队将这个矛盾归因于原始拟合过程里一个具体的优化器提前停止（early stopping）问题，重新拟合后得到的参数——数据项的指数 \(\beta\) 和不可约损失 \(E\) 都比原论文报告值更大——与方法一、方法二重新变得一致，重新推算出的最优比例约为 25.6 tokens/parameter，落在“20 tokens/parameter”经验法则的合理范围内。

这场复现争论的意义不在于“Chinchilla 的结论被推翻了”——恰恰相反，重新拟合后的结果反而让 Chinchilla 论文内部三种方法首次真正达成一致，20 tokens/parameter 这条经验法则本身站得更稳了。它真正暴露的问题是方法论层面的：一条被行业当作“精确公式”反复引用的 scaling law（\(L(N,D) = E + A/N^{0.34} + B/D^{0.28}\) 这组具体数字），其背后的拟合过程本身可能存在没有被同行评审完全捕捉到的 bug，而这类 bug 不会在论文摘要或被引用的表格里体现出来——只有真的想把这条公式外推到别的算力量级、真的想复现置信区间时才会撞见。这也是为什么第四节强调的“训练配方细节能系统性扭曲拟合结论”不是 Kaplan 一家的问题，是这整条研究范式共同的脆弱点。

八、争论二：scaling 是否撞墙，三角会不会再加一条边

前七节讨论的都是“给定 \(N\)、\(D\)、\(C\) 这个三角，怎么分配”，这个框架本身有一个隐含前提：\(D\) 是可以持续扩大的资源。这个前提在数据供给端已经不成立——55｜Transformer 的根本局限 第六节已经用 Muennighoff et al.（NeurIPS 2023，Scaling Data-Constrained Language Models）的实验说明：训练超过 400 个模型后发现，重复数据在大约 4 个 epoch 之内价值和全新数据几乎没有差别，但超过这个范围后继续投入算力的边际价值迅速衰减到零，互联网可用的高质量文本本身是有限的。本篇不重复这条证据链，只强调它对本篇框架的直接含义：当 \(D\) 不能再随算力自由增长时，\(N\)、\(D\)、\(C\) 的三角配比问题会变成一个额外带着“\(D\) 上限”约束的优化问题，Chinchilla 公式本身不包含这个约束项。

另一条更前沿、也更没有定论的争论是：预训练阶段的 scaling law 是否正在撞上收益递减的墙，行业资源是否应该从“继续放大 \(N\)、\(D\)、\(C\)”转向“扩大推理阶段的计算量”。Snell、Lee、Xu 和 Kumar 在 arXiv:2408.03314（2024）系统比较了两种花算力的方式——训练更大的模型，还是让同一个模型在推理时多花计算（更长的思维链、更多次采样再选择、迭代修正）——在他们测试的数学推理任务和算力预算范围内，后者在某些设置下比前者更有效。这条工作和公开介绍的 inference-time scaling 方向指向同一个问题：如果算力预算的最优分配点已经从“训练时的 \(N\)、\(D\)”扩展到“训练时的 \(N\)、\(D\)”加上“推理时每次请求花多少计算”，那 Kaplan、Chinchilla 讨论的三角就不再是完整的优化空间了。

需要说清楚的是，这个方向目前仍是一个正在展开的研究问题，不是已经有定论的“预训练 scaling 已经撞墙”。Chinchilla 式的三角关系在其原始定义的问题——给定训练 FLOPs，如何配置 \(N\)、\(D\) 以最小化训练 loss——上，至今没有被证据推翻；被质疑的是这个问题本身是否还是做算力预算决策时唯一该问的问题。这也是为什么本篇把“三角”称为“钉住的规律”而不是“终局答案”：它准确回答了一个具体问题，但那个问题的边界正在被更大的系统设计选择重新画。

九、常见误解

9.1 “Chinchilla 证明 Kaplan 的 scaling laws 是错的”

不准确。Kaplan et al. 测出的幂律形式（loss 随 \(N\)、\(D\) 各自呈幂律下降）本身没有被推翻，被修正的是固定算力下 \(N\)、\(D\) 该怎么配这一个具体结论，而这个结论的偏差可以追溯到一个具体的实验设计缺陷（第四节），不是“Kaplan 的方法论整体失效”。

9.2 “20 tokens/parameter 是铁律”

不是。它是 Chinchilla 论文在其算力量级附近给出的一个近似读数，Epoch AI 的复现研究把它精确化到约 25.6，Sardana et al. 证明在推理需求主导的场景下，理性的比例可以远高于这个数字（Llama 2 7B 约 286），质量在极端比例下依然继续改善。它是一个有用的起点，不是一个不能突破的常数。

9.3 “compute-optimal 就是训出最强模型”

不对。compute-optimal 优化的是“给定训练 FLOPs，最小化训练 loss”，不包含推理成本、部署硬件、下游任务表现的权重分配。第六节已经说明，一旦把推理需求算进总成本，理性的 \((N, D)\) 选择会明显偏离训练 compute-optimal 的点。

9.4 “Chinchilla 的复现争议说明这条规律不可信”

也不对。Epoch AI 的复现研究恰恰让 Chinchilla 论文内部三种方法首次相互一致，“20 tokens/parameter 左右”这条经验结论比修正前更站得住——被动摇的是论文报告的具体置信区间和方法三单独给出的精确指数，不是“模型和数据该大致同比例增长”这个核心方向。

9.5 “数据不够用了，scaling laws 就失效了”

太快下结论。Muennighoff et al. 给出的是一条把 Chinchilla 公式推广到数据受限场景的新 scaling law，不是宣布旧公式失效——规律仍然成立，只是多了一个“重复数据价值会衰减”的约束项，需要在原有三角上做加法，不是推倒重来。

十、关键概念回顾

• 三角约束：给定 \(C \approx 6ND\)，模型大小 \(N\) 和训练 token 数 \(D\) 的配比同时决定容量上限、容量是否被喂饱、最终 loss。
• Kaplan 幂律：\(L(N) \propto N^{-0.076}\)，\(L(D) \propto D^{-0.095}\)，compute-optimal 配比 \(N \propto C^{0.73}\)，\(D \propto C^{0.27}\)，偏向大模型少数据。
• Chinchilla 三方法：训练曲线包络、IsoFLOP profile、参数化联合拟合，三种独立方法都得到 \(N \propto C^{\sim0.5}\)，\(D \propto C^{\sim0.5}\)，模型和数据应大致同比例增长。
• 训练配方偏差：Kaplan 用固定长度学习率调度截取中间 loss，系统性高估“少 token”配置的损失，是两套结论分歧的具体机制——不是发现了新规律，是修好了一个实验设计漏洞。
• compute-optimal ≠ 部署最优：前者只优化训练 loss，后者要把推理成本算进全生命周期总账；推理需求越大，理性的 tokens/parameter 比例应该越高于 20。
• Chinchilla 复现危机：Epoch AI 发现原论文方法三的置信区间不合理地窄、且内部三种方法互相矛盾，重新拟合后三种方法重新一致，20 tokens/parameter 的经验法则本身没有被推翻。
• 数据受限约束：Chinchilla 三角假设 \(D\) 可以自由增长，Muennighoff et al. 的数据受限 scaling law 给这个假设加上了“重复数据价值衰减”的硬约束。

十一、开放问题

训练时三角（\(N\)、\(D\)、\(C\)）之外，推理时计算量应该在多大程度上被纳入统一的 scaling 框架？ Snell et al.（2024）在特定任务和预算范围内显示推理时多花计算可能比训练时放大模型更有效，但这个结论的适用边界——哪类任务、多大预算、多长的推理时计算——还没有一套类似 Chinchilla 那样经过大规模系统性扫描验证的公式。可读入口：arXiv:2408.03314 及后续关于 inference-time scaling 的工作。

数据受限约束和推理成本约束叠加之后，最优 \((N, D)\) 会落在哪里？ 本篇第六节和第八节分别讨论了推理成本、数据受限两个独立的额外约束，但目前没有公开工作把二者同时纳入一个联合优化框架——如果高质量数据本来就稀缺，又要考虑巨大的推理需求，“训一个更小但训练更久的模型”和“数据根本不够训那么久”这两个压力方向不完全一致，这个联合权衡目前是空白。

Chinchilla 式参数化拟合对训练配方细节的敏感性还有多少没被发现？ 第四节和第七节分别揭示了 Kaplan 的学习率调度问题和 Chinchilla 方法三的优化器早停问题，两次都是具体、可核查的方法论缺陷——这提示类似的隐藏敏感性可能还没有被穷尽。可读入口：Epoch AI 关于 scaling law 复现的系列报告。

十二、下一步

Chinchilla 修正的是“参数和数据该怎么配”，但它有一个隐含假设：只要按比例喂够 token，数据本身的质量是均匀的。这个假设明显不成立——重复、模板化、低信息密度的网页和一段写得好的教材，同样算作“一个 token”，对模型的训练价值却完全不同。下一篇就要拆开这件事：数据工程如何决定 Chinchilla 公式里 \(D\) 这个数字背后，到底喂进去了什么。

十三、参考文献

核心论文

1. Kaplan, J. et al. “Scaling Laws for Neural Language Models.” arXiv:2001.08361, 2020. 语言模型 scaling laws 的标志性论文，Table 4/5/6 给出 \(\alpha_N\)、\(\alpha_D\) 与 compute-optimal 配比 \(N \propto C^{0.73}\)、\(D \propto C^{0.27}\)，是本篇第二节的核心一手证据。
2. Hoffmann, J. et al. “Training Compute-Optimal Large Language Models.” NeurIPS 2022（原 arXiv:2203.15556）。Chinchilla 法则原始论文，Table 2 给出三种方法的独立拟合结果，Section 2、Appendix B 指出与 Kaplan et al. 学习率调度设计的差异，Appendix D.2 给出参数化 loss 公式 \(L(N,D)=E+A/N^{0.34}+B/D^{0.28}\) 的具体系数，是本篇第三、四节的核心一手证据。
3. Besiroglu, T., Erdil, E., Barnett, M. and You, J. “Chinchilla Scaling: A Replication Attempt.” arXiv:2404.10102, 2024（未经 peer review 的预印本，Epoch AI 发布）。重新拟合 Chinchilla 方法三的参数，指出原报告置信区间不合理地窄，并给出与方法一、二一致的约 25.6 tokens/parameter 估计，是本篇第七节的核心一手证据。
4. Sardana, N., Portes, J., Doubov, S. and Frankle, J. “Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws.” ICML 2024（原 arXiv:2401.00448）。把推理成本纳入 Chinchilla 框架，证明高推理需求下应训练更小、tokens/parameter 比例更高的模型，并用 47 个模型验证该结论在极端比例（up to 10000）下依然成立，是本篇第六节的核心一手证据。
5. Muennighoff, N. et al. “Scaling Data-Constrained Language Models.” NeurIPS 2023（原 arXiv:2305.16264）。数据受限场景下重复 token 价值衰减的 scaling law，详见 55｜Transformer 的根本局限 第六节。
6. Snell, C., Lee, J., Xu, K. and Kumar, A. “Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters.” arXiv:2408.03314, 2024（未经 peer review 的预印本）。比较训练时放大参数与推理时增加计算两种花算力方式的效果，是本篇第八节开放问题的一手依据。

延伸对照

7. Touvron, H. et al. “Llama 2: Open Foundation and Fine-Tuned Chat Models.” arXiv:2307.09288, 2023. Table 1 给出 7B/13B/70B 模型共享 2 万亿 token 训练语料的配置，是本篇第六节“过训小模型”真实案例的数据来源。
8. Brown, T. et al. “Language Models are Few-Shot Learners.” NeurIPS 2020. GPT-3 训练配置，是 Kaplan 时代“大模型少数据”配方的代表案例。
9. Rae, J. W. et al. “Scaling Language Models: Methods, Analysis & Insights from Training Gopher.” arXiv:2112.11446, 2021. Gopher 训练配置，是 Chinchilla 论文对比的基准模型。

← 上一篇：33｜RLHF　|　下一篇：35｜数据工程 →