土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】54｜涌现能力：规模效应、评测假象与可预测性之争

2026-08-06 | transformer | #transformer #emergence #in-context-learning #chain-of-thought #scaling #big-bench #evaluation

Wei et al. 用 BIG-Bench 定义了"涌现能力"，Schaeffer et al. 用一个数学模型证明很多涌现曲线是非线性指标的产物。本文梳理这场争论的证据链、in-context learning 与 Chain-of-Thought 各自的机制证据，以及涌现能力是否可预测、可诱导两个仍未解决的问题。