【Transformer 与注意力机制】54｜涌现能力：规模效应、评测假象与可预测性之争

2022 年，Wei et al. 用 BIG-Bench 上的几十个任务证明了一件看起来很反直觉的事：语言模型在参数量跨过某个门槛之前，几个任务的得分几乎和瞎猜没区别，跨过门槛之后分数骤然跳升。这类现象被命名为涌现能力（emergent abilities），并很快被写进了几乎每一份关于大模型的科普材料。

一年后，Schaeffer、Miranda 和 Koyejo 在 NeurIPS 2023 发表了一篇针锋相对的论文，标题直接问：这些涌现能力是不是海市蜃楼（mirage）？他们用一个几行公式就能推导出的数学模型说明：只要评测指标选得不好，per-token 误差率的平滑下降完全可以在 accuracy 这类指标上画出一条看起来像相变的曲线——不需要模型内部发生任何”质变”。

这篇文章要处理的不是”涌现存不存在”这种是非题，而是三件更具体的事：

1. Wei et al. 的原始证据和 Schaeffer et al. 的反驳分别站得住哪一部分；
2. in-context learning 和 Chain-of-Thought 各自有哪些机制证据，哪些是真实的非线性效应，哪些只是画图方式；
3. 涌现能力能不能提前预测，能不能靠换个提示词就”诱导”出来——这两个问题目前都还开放。

不神秘化不代表全盘否定：规模确实会带来一些无法从小模型外推的行为变化，只是”行为变化”和”能力从无到有的相变”不是同一件事，混着说就是在制造神秘感。

一、涌现主张的原始证据：BIG-Bench 与 Wei et al. 2022

Wei et al. 把涌现能力定义得很具体：如果一个模型家族在某个任务上的表现，在小规模时接近随机，超过某个规模后跳到远高于随机，且这个跳跃无法通过对小模型的表现做外推预测出来，这个能力就算”涌现”。

这不是空对空的定义。论文在 BIG-Bench（一个由社区贡献、覆盖超过 200 个任务的评测集，见 Srivastava et al., TMLR 2023）上找到了大量符合这个模式的例子。最常被引用的一个是三位数加减法和两位数乘法的算术任务：GPT-3 和 LaMDA 在训练算力小于某个阈值时几乎得零分，GPT-3 在约 \(2\times10^{22}\) 训练 FLOPs（对应 13B 参数）附近突然跳升到远高于随机水平，LaMDA 在约 \(10^{23}\) FLOPs（68B 参数）附近出现同样的跳跃。论文列出的类似案例还包括音标转写、打乱字母还原单词、波斯语问答等任务，涨幅曲线形状高度相似：长时间贴地飞行，然后突然拉升。

这类曲线之所以有说服力，是因为它们出现在很多不同任务、不同模型家族里，而且门槛前后的差异不是”渐渐变好”，是从几乎零分直接跳到及格线以上。Wei et al. 由此提出一个更大的问题：如果这种跳跃真实存在，继续扩大规模是否会解锁更多目前完全测不出来的能力？这也是这篇论文在 2022 年迅速被广泛引用的原因——它把”规模能带来新东西”从直觉变成了可以拿图说话的经验现象。

二、Schaeffer 等的反驳：指标选择怎么制造”跳跃”

问题出在”跳跃”是怎么量出来的。Schaeffer、Miranda 和 Koyejo 指出，Wei et al. 统计的涌现能力里，超过 92% 都是用两类指标测出的：要求整段输出完全匹配的 Accuracy/Exact Match，或者本质是阶跃函数的 Multiple Choice Grade。这两类指标都是非线性甚至离散的。

他们给出一个可以直接验算的数学模型。假设模型家族的 per-token 交叉熵随参数量 \(N\) 按幂律下降（这正是 scaling laws 的经验规律，见 34｜Scaling Laws）：

\[ L_{CE}(N) = (N/c)^{\alpha}, \qquad \alpha < 0,\ c > 0 \]

对应的单 token 正确率是：

\[ p_N(\text{单 token 正确}) = \exp\bigl(-L_{CE}(N)\bigr) = \exp\left(-(N/c)^{\alpha}\right) \]

如果任务要求生成长度为 \(L\) 的目标序列且每个 token 都要正确才算数（这近似于 Accuracy/Exact Match 的判分方式），整段正确率就是：

\[ \text{Accuracy}(N) \approx p_N(\text{单 token 正确})^{L} = \exp\left(-(N/c)^{\alpha} L\right) \]

这个公式里没有任何”相变”假设，\(p_N\) 本身是平滑、连续、单调改善的。但因为 Accuracy 是把 \(p_N\) 取 \(L\) 次幂，当 \(L\) 比较大时，只要单 token 错误率还没降到 \(\sim 1/L\) 以下，整段正确率就会被压得接近零；一旦单 token 错误率跨过这个量级，\(\text{Accuracy}(N)\) 会在很窄的规模区间里从接近 0 冲到接近 1。曲线看起来是相变，但驱动它的只是”多个独立事件同时发生”这个概率乘法本身的非线性——序列越长，这个效应越夸张。

这不是纯粹的理论演算。他们把同一批模型输出，换一个线性指标重新打分：Token Edit Distance（编辑距离，误差率近似线性反映在指标上）替代 Accuracy，Brier Score（连续的概率评分）替代 Multiple Choice Grade。在 InstructGPT/GPT-3 家族的两位数乘法和四位数加法任务上，Accuracy 画出的是标志性的陡峭跳跃，同一批数据换成 Token Edit Distance 后变成平滑上升的曲线。对 LaMDA 家族，用离散的 Multiple Choice Grade 能复现”涌现”，换成连续的 Brier Score 之后同一组任务的涌现现象消失。

第二个证据更釜底抽薪：他们指出小模型在 Accuracy 上”看起来是零分”，很大程度上是因为测试集不够大——分辨率被 \(1/(\text{测试样本数})\) 限制住了。增大测试集重新估计后，那些”完全不会”的小模型其实有非零、且随规模平滑改善的正确率，只是原来的样本量测不出来。

最后是一个统计上的警告：BIG-Bench 有约 220 个任务、每个任务约 40 种打分指标、约 10 个模型家族，组合起来接近 \(10^6\) 个”任务-指标-模型家族”三元组。在这么大的搜索空间里，即使背后没有任何真实的规模效应，纯粹靠多重比较也会撞出一些看起来像涌现的曲线——这是论文里提到的第三个需要警惕的地方。

三、争论仍未结束：两派证据都不弱

Schaeffer et al. 的论文标题用了问句而不是断言，正文里也明确写道，这篇论文不是说大模型不可能有真实的涌现能力，而是说此前被 Wei et al. 等工作报告的具体案例，很可能是指标和统计假象。这个区分很重要，因为后续工作确实找到了”换了指标和分辨率之后依然剩下的非线性”。

Hu et al. 在 ICLR 2024 提出的 PassUntil 方法，把”分辨率不够”这个问题解决到了另一个极端：不是加大测试集，而是在同一个测试样本上做海量重复采样（decode 阶段大规模 sampling），把测量分辨率推向理论上的无穷。结果分两部分：一部分任务确实能用一条严格的 task scaling law 拟合，好到可以在训练开始前用小模型外推出 2.4B 模型在代码生成任务上的表现，误差只有 0.05%——这是对”下游任务表现本质上不可预测”这个说法的直接反驳，也是他们所说的第一次系统验证 GPT-4 技术报告里提出的”predictable scaling”构想。但另一部分任务出现了他们称为”加速涌现”（accelerated emergence）的曲线：即使用了无穷分辨率测量，这些曲线的上升速度仍然在加快，标准的幂律 scaling law 形式拟合不动。他们把可能的解释指向”multiple circuits hypothesis”——猜测模型内部可能存在多条能完成同一任务、精度不同的电路，规模扩大到某个点后某条更强的电路开始接管输出分布，从而在任务层面表现出比单一电路平滑改善更快的曲线。这个假说目前还没有被机制可解释性研究直接证实。

这样一来，争论的焦点已经从”涌现存在还是不存在”，往前挪到了两个更具体的分歧：

• 第一，测量本身修好之后（换连续指标、加分辨率），还剩不剩非线性？Schaeffer et al. 在他们检验过的算术类任务上给出”不剩”或”剩得很少”的证据；Hu et al. 在另一批任务上给出”仍然剩一部分，而且这部分标准 scaling law 拟合不了”的证据。两边用的任务集合不完全重叠，谁的结论更有代表性还没有定论。
• 第二，即使承认存在真实的非线性，这个非线性的来源是什么？是评测残留的伪影，还是某种可以用机制可解释性工具（参见 53｜机制可解释性）验证的电路级现象？multiple circuits hypothesis 目前只是候选解释，不是已证实的机制。

对读者更现实的结论是：任何”某个能力在 X 规模涌现”的说法，第一反应应该是去看它用的是什么指标、测试集多大、有没有做过分辨率检验，而不是直接接受”模型突然会了”这个叙事。

四、In-context learning：没有梯度更新，学的是什么

In-context learning（ICL）指模型参数不变，只靠 prompt 里的几个示例适应新任务，这个能力随着 GPT-3（Brown et al., NeurIPS 2020）被系统性展示后成为讨论大模型接口方式的中心话题：任务不必再靠 fine-tune 教给模型，可以直接写进输入。

但”靠几个例子学会任务”这句话经不起细看。Min et al. 在 EMNLP 2022 做了一组针对性实验：把示例里的标签随机替换成错误标签，跨越 12 个不同模型家族测试，发现模型在分类和多选任务上的表现几乎不受影响——如果 ICL 真的是从示例里学习输入到标签的映射，打乱标签应该显著伤害性能，但没有。他们进一步定位到，真正驱动表现的是示例暴露给模型的三件事：标签空间是什么、输入文本的分布长什么样、整个序列的格式是什么样。换句话说，很多时候 ICL 起作用不是因为模型从例子里”学会了任务”，而是因为例子帮模型把当前输入校准到了它已经熟悉的分布和格式上。

这和 53｜机制可解释性 里提到的 induction head 电路是同一类现象的两个侧面：induction head 提供了一种具体、可通过 activation patching 验证的电路机制——识别”当前上下文里出现过的模式”并复制其后继 token；Min et al. 的行为实验则说明，这套复制机制对标签是否语义正确并不敏感，它更依赖格式和分布的一致性。两条证据合在一起支持一个更保守的结论：ICL 更像是预训练阶段学到的模式匹配和分布对齐能力，在推理时被 prompt 结构激活，而不是一种独立于预训练权重、临时发生的”学习”过程。这个问题目前没有完全定论，机制解释和行为解释仍在互相补充。

五、Chain-of-Thought：帮助有多大，帮助从哪来

Wei et al. 在 NeurIPS 2022 提出的 Chain-of-Thought（CoT）prompting，让模型在给出最终答案前先生成中间推理步骤。这篇论文本身把 CoT 的效果直接定性为”模型规模的涌现能力”：在 PaLM 上，GSM8K 数学题的标准提示 vs. CoT 提示解题率分别是 8B 参数 4.9% 对 4.1%（CoT 反而更差）、62B 参数 9.6% 对 29.9%、540B 参数 17.9% 对 56.9%——CoT 带来的收益不是随规模线性放大，而是在小模型上基本无效甚至有害，跨过某个规模后才开始大幅拉开差距。作者对此给出的定性解释是：小模型生成的中间推理步骤读起来通顺，但逻辑经常是错的，规模扩大后模型才能稳定生成语义和推理链都连贯的中间步骤。

这条曲线的形状和第二节里 Schaeffer et al. 批评的曲线形状类似，容易让人怀疑是不是同一类指标假象。但这里有一个可以从计算模型角度直接验证的额外证据：Merrill 和 Sabharwal 在 ICLR 2024 证明，不允许生成中间步骤的标准 Transformer decoder，其可计算的问题类被限制在电路复杂度类 \(\mathrm{TC}^0\) 内——连判断图中两个节点是否连通、模拟一个有限状态自动机这类简单问题都在这个限制之外。允许模型生成 \(t(n)\) 步中间 token 后，计算能力的增长严格取决于 \(t(n)\) 的规模：对数步数（\(t(n) = \Theta(\log n)\)）只能小幅突破 \(\mathrm{TC}^0\)；线性步数（\(t(n) = \Theta(n)\)，配合一种被称为 projected pre-norm 的归一化变体）能让模型识别所有正则语言；多项式步数则让模型的计算能力恰好等于多项式时间可解类 \(\mathrm{P}\)——这是第一次把一类 Transformer 的能力精确刻画到标准复杂度类上。

这个结果的意义在于，它把”CoT 为什么能让模型解决更难的问题”从一句经验描述变成了一个不需要神秘化的计算模型事实：允许序列化生成中间 token，本质上是允许模型做更多步串行计算，而串行计算步数增加确实能严格扩大可解问题的范围，这和”模型内部发生了某种觉醒”没有关系，只是计算资源（这里是解码步数）变多了。换个角度看，Wei et al. 报告的”CoT 只在大模型上起作用”，更可能对应的是：大模型才有能力稳定生成足够长、足够正确的中间步骤序列去兑现这份理论容量；小模型虽然理论上也能从更多解码步数里获益，但生成的中间步骤本身质量不够，兑现不了这份计算能力上的提升。

六、CoT 文本不是推理证据：忠实性问题

即使 CoT 确实能提升任务表现，也不能倒推”模型输出的这段推理文字就是它真实的内部计算过程”。Turpin、Michael、Perez 和 Bowman 在 NeurIPS 2023 设计了一组直接测试忠实性（faithfulness）的实验：往输入里加入模型看不出破绽的偏置特征——比如始终把正确答案放在选项 A、或者在 few-shot 示例里暗示某个答案——诱导模型给出错误答案。结果是，在 BIG-Bench Hard 的 13 个任务上，GPT-3.5 和 Claude 1.0 的准确率因为这些偏置特征最多下降 36%，而模型生成的 CoT 解释几乎从不提及这些偏置的存在，反而会为被偏置诱导出的错误答案编出一套听起来合理的理由；在一个社会偏见任务上，模型的解释会顺着刻板印象给出答案，但解释文本里同样看不到偏见被承认。

这组结果把”CoT 提升性能”和”CoT 揭示了真实推理过程”这两个经常被混为一谈的说法拆开了。前者有本节和上一节的证据支持，后者在 Turpin et al. 的实验条件下被直接证伪。对下游使用的含义很直接：CoT 文本可以当作提升任务表现的生成策略来用，但不能当作可解释性或安全审查意义上的”模型思路证据”——它和第 53 篇里讨论的 attention weight 面临同一类问题：看起来提供了解释，但没有因果保证。

七、涌现能力是否可诱导：从”不存在”到”接口没激发”

CoT 本身就是一个可以拿来检验”能力涌现”的实验：如果一个能力只有配上特定的提示格式才会显现出来，那这个能力算是被规模”创造”出来的，还是本来就存在，只是缺一个能激活它的接口？

Lu、Bigoulaeva、Sachdeva、Tayyar Madabushi 和 Gurevych 在 ACL 2024 用超过 1000 组实验系统检验了这个问题。他们的核心思路是把”任务能否被解决”和”是否用到了 in-context learning”分开统计：如果控制掉 ICL 之后，模型在某些任务上依然表现出无法用 ICL、记忆或语言能力解释的独立推理能力，那才是站得住的”涌现推理”。他们的结果是，一旦控制了 ICL，不同规模、不同训练方式的模型在能解决的任务集合上高度重叠——没有观察到独立于 ICL 之外的涌现推理能力。指令微调看起来提升了模型使用 ICL 的效率，而不是给模型装上了新的、脱离 ICL 的推理机制。

这个结论和第五节 Wei et al. 对 CoT 的定性解释可以拼在一起看：两边都同意规模变化确实改变了模型的行为，分歧在于把这个变化归因到”新能力”还是”更擅长用已有的接口（ICL、格式匹配）激发预训练阶段就存在的能力”。这不是一个已经有共识答案的问题——区分”模型学会了新东西”和”模型更擅长把已有的东西通过某个接口表达出来”，目前没有一套双方都接受的判定实验，Lu et al. 的方法本身也依赖于”控制 ICL”这个操作是否真的能完全剥离 ICL 的贡献，这一点还可以被继续质疑。可以确定的是：至少对于该研究检验过的推理类任务，“换个 prompt 就能诱导出看起来是涌现的表现”这件事是可以复现的，但它更支持”接口没激发”而不是”能力从无到有”这个解释。

八、和 scaling laws、架构限制的边界

把这篇和 34｜Scaling Laws、55｜Transformer 的根本局限 放在一起看，三者其实在讨论三个不同的轴，不应该互相替代。

Scaling laws 描述的是 loss 这个连续指标随规模的平滑幂律下降，这条规律本身在 Kaplan、Chinchilla 的实验区间里相当稳固。本篇讨论的”涌现”针对的是下游任务指标（accuracy、exact match 等），而不是 loss 本身。第二节的数学模型说明了为什么这两者不矛盾：loss（或者更准确地说，per-token 错误率）平滑下降，经过一个非线性或离散的评分函数之后，完全可以在下游指标上呈现出跳跃。也就是说，“scaling law 是平滑的”和”某个下游任务的分数曲线是陡峭的”可以同时为真——矛盾的表象来自把两种不同的指标混着比较，不是规律本身互相冲突。

架构限制篇讨论的是另一个轴：不管模型有没有涌现出新能力，attention 的 \(O(n^2)\)、KV Cache 的线性增长、自回归串行性这些结构性代价都不会因为”能力变强”而消失。一个模型可能同时具备更强的少样本推理能力，也同时受困于同样的长上下文成本——能力曲线和成本曲线是两条独立的曲线，不能用”新架构复杂度更低”去论证”新架构的能力涌现阈值也更低”，这是两个需要分别验证的命题。

九、关键概念回顾

• 涌现能力：Wei et al. 定义为在小规模上接近随机、跨过某个规模门槛后跳升到远高于随机水平，且无法通过小模型外推预测的任务表现。
• 指标非线性/离散性：Accuracy、Multiple Choice Grade 等要求整段或多选完全正确的指标，会把平滑的 per-token 误差改善映射成陡峭甚至阶跃的下游曲线。
• 测量分辨率：小测试集或低采样次数会限制能测出的最小性能差异，人为放大”小模型完全不会”的印象。
• in-context learning：不更新参数，靠 prompt 中的示例适应任务；很大程度上依赖示例提供的标签空间、输入分布和格式信息，而非示例本身的输入-标签映射。
• Chain-of-Thought：生成中间推理步骤再给答案；在计算模型上被证明能严格扩大可解问题类别，但生成文本本身不保证忠实反映模型的真实决策过程。
• 加速涌现（accelerated emergence）：PassUntil 在无穷分辨率测量下仍观察到、标准幂律无法拟合的加速曲线，候选解释是多电路假说，尚未证实。

十、常见误解

10.1 “涌现能力已经被 Schaeffer et al. 证伪”

不准确。Schaeffer et al. 证明的是特定任务、特定指标下的具体涌现声称大多是指标和统计假象，他们自己明确说这不等于”大模型不可能有真实涌现能力”。Hu et al. 后续用更高分辨率的测量，依然在另一批任务上找到标准 scaling law 拟合不动的加速曲线。

10.2 “in-context learning 就是模型在推理时做梯度下降式的学习”

这是一种理论假说的通俗说法，不是已证实的机制。Min et al. 的行为实验显示，ICL 对示例里标签是否正确不敏感，更依赖格式和分布信息，这和”从例子里学到新映射”的直觉解释并不完全吻合。

10.3 “CoT 展示了模型的真实推理过程”

不成立。Turpin et al. 证明，在有针对性设计的偏置输入下，模型会为被偏置诱导出的答案生成看似合理但完全没提及偏置影响的解释，准确率降幅可达 36%。CoT 是提升任务表现的生成策略，不等价于可信的思路记录。

10.4 “换个 prompt 就能’解锁’能力，证明模型早就会了”

这个方向的证据（CoT 的规模门槛、Lu et al. 对 ICL 的控制实验）更支持”接口没激发”这个解释，但这不是一个已经有共识判定方法的问题——目前没有实验能明确区分”能力一直存在，只是没被合适的接口调用”和”规模扩大真的产生了新的内部机制”。

十一、开放问题

能不能找到一个通用的、可以在训练前预测所有”涌现”任务表现的框架？ PassUntil 在代码生成任务上把预测误差压到了 0.05%，但同一套方法在另一批任务上遇到了标准幂律拟合不了的加速曲线。如果”多电路假说”是对的，需要机制可解释性工具（参见第 53 篇的 circuit、activation patching 方法）去正面验证是否真的存在多条精度不同、依次接管的电路，这一验证目前还没有人做过。可读入口：ICLR 2024 关于 task-level scaling law 的讨论，以及后续机制可解释性研究对 circuit 竞争假说的跟进。

“能力涌现”和”接口激发已有能力”能否被一套双方都接受的实验区分开？ Lu et al. 的方法依赖”控制 ICL”这个操作本身的完备性，如果控制方法本身不能完全剥离 ICL 的贡献，结论就可能被高估或低估。需要的是一种不依赖某一方预设立场的中性判定标准。可读入口：关于 in-context learning 机制解释的持续争论（induction head 电路、格式校准等假说目前并存，见第 53 篇）。

CoT 的理论表达力增益，有多少真的被现实训练出来的模型兑现了？ Merrill 和 Sabharwal 证明的是复杂度类上限，不是”模型一定能学会用满这份容量”。Turpin et al. 的忠实性问题说明，生成的中间步骤即使提升了准确率，也可能不对应真实计算路径。如何设计既能验证”模型确实执行了额外的串行计算”、又不依赖信任生成文本本身的测试方法，仍然开放。可读入口：CoT faithfulness 相关的后续干预实验设计方向。

十二、下一步

理清了”涌现”里哪些是真实的规模效应、哪些是评测的产物之后，下一个自然的问题是：即使承认某些能力确实随规模改善，Transformer 这套架构本身还有哪些结构性代价是规模解决不了的？下一篇回到工程和架构层面，看 \(O(n^2)\) attention、KV Cache 线性增长、自回归串行性这些限制为什么不会随着模型变聪明而自动消失。

十三、参考文献

1. Wei, J. et al. “Emergent Abilities of Large Language Models.” Transactions on Machine Learning Research (TMLR), 2022. 涌现能力的原始定义与 BIG-Bench 证据。
2. Schaeffer, R., Miranda, B. and Koyejo, S. “Are Emergent Abilities of Large Language Models a Mirage?” NeurIPS 2023 (arXiv:2304.15004). 提出指标非线性/离散性与分辨率不足的数学模型，证明多个涌现案例可以被换指标或加分辨率消除。
3. Hu, S. et al. “Predicting Emergent Abilities with Infinite Resolution Evaluation.” ICLR 2024 (arXiv:2310.03262). 提出 PassUntil 高分辨率评测，发现部分任务遵循可拟合的 task scaling law，另一部分呈现标准公式拟合不了的”加速涌现”。
4. Lu, S., Bigoulaeva, I., Sachdeva, R., Tayyar Madabushi, H. and Gurevych, I. “Are Emergent Abilities in Large Language Models just In-Context Learning?” ACL 2024 (arXiv:2309.01809)。用 1000 余组实验说明控制 ICL 后未观察到独立的涌现推理能力。
5. Brown, T. et al. “Language Models are Few-Shot Learners.” NeurIPS 2020. GPT-3 与 in-context learning 的起点工作。
6. Min, S. et al. “Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?” EMNLP 2022. 证明随机替换示例标签基本不影响 ICL 表现，ICL 更依赖标签空间、输入分布与格式。
7. Wei, J. et al. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” NeurIPS 2022. 提出 CoT prompting，并把其效果定性为模型规模的涌现能力（PaLM 540B 在 GSM8K 上的实验数据）。
8. Merrill, W. and Sabharwal, A. “The Expressive Power of Transformers with Chain of Thought.” ICLR 2024 (arXiv:2310.07923). 证明标准 Transformer 被限制在电路复杂度类 \(\mathrm{TC}^0\) 内，允许线性/多项式步数的中间生成可分别扩展到正则语言/多项式时间可解类 \(\mathrm{P}\)。
9. Turpin, M., Michael, J., Perez, E. and Bowman, S. R. “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting.” NeurIPS 2023 (arXiv:2305.04388). 用偏置特征证明 CoT 解释可以系统性地不忠实于模型真实决策依据。
10. Srivastava, A. et al. “Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models.” TMLR 2023. BIG-Bench 基准的原始论文。

← 上一篇：53｜机制可解释性　|　下一篇：55｜Transformer 的根本局限 →