【Transformer 与注意力机制】38｜GPT 系列：从续写到助手，每一代到底改变了什么

如果说 37｜BERT 的问题是”为什么选双向”，GPT 这条线的问题应该反过来问：从 1.17 亿参数的 GPT-1 到参数量不再公开的 GPT-4，中间隔着六年、上千倍的规模差和完全不同的产品形态，但它们始终在做同一件事——给定前文预测下一个 token。这个目标函数六年没换，为什么模型的能力和用法却像是换了四次物种？

这不是一句”越大越强”能回答的问题。117M 参数的 GPT-1 需要为每个任务加输出层、跑一遍全参数微调；1.5B 的 GPT-2 拿掉了这个微调步骤，改成把任务写进文本；175B 的 GPT-3 把这件事做到不需要更新任何参数，只靠上下文里的几个例子；再往后 InstructGPT 和 ChatGPT 甚至没有换预训练目标，只是在同一个自回归模型上面套了一层偏好优化，输出行为就变了。如果只说”参数越来越大”，就会把接口层面的断裂——从”要微调”到”要提示”再到”要对齐”——全部抹平成一句空话。

本文要按四个维度把这条线拆开看：预训练目标、任务接口、参数规模、对齐机制，逐代确认哪些维度真的变了，哪些维度看起来变了但其实没变。所有结论只依据 OpenAI 公开发表的论文、技术报告和官方博客，不使用未经证实的规模、结构或训练细节的传闻。

一、四个维度：哪些从未换过，哪些换了

先把结论摆在最前面，后面每一节都在验证这张表里的具体数字和依据。

这张表里唯一一行完全没变的是”预训练目标”列：六年里，OpenAI 公开材料从未声称换掉了 next-token prediction。真正逐代断裂的是”任务接口”——从要微调，到要写提示，到要对齐，到要接受图像输入。参数规模在 GPT-1 到 GPT-3 之间公开且可核对，从 InstructGPT 开始才出现”公开程度”本身也在下降的趋势，这条下降曲线在 GPT-4 上走到了不公开架构和参数量的地步。

Decoder-only 架构本身也是”没变”的一部分，但这件事不是 GPT 系列内部的问题，而是三条路线（Encoder-only、Encoder-Decoder、Decoder-only）共同的选择题，40｜三大路线之争 已经用 T5 的受控实验和推理系统的默认假设讲清楚了这件事，这里不重复。

二、GPT-1：预训练与微调之间，接口还没松开

GPT-1 的论文标题是 Improving Language Understanding by Generative Pre-Training（Radford et al., OpenAI, 2018）。模型规格很具体：12 层 decoder-only Transformer，768 维隐状态，12 个注意力头，前馈层 3072 维，共 117M 参数，在 BooksCorpus（7000 余本未出版书籍构成的语料）上用标准自回归语言建模目标预训练。

它的任务接口和后面几代完全不同。论文第 3.3 节写清楚了具体做法：不同任务需要不同的输入变换——文本蕴含任务把前提和假设用分隔符 $ 拼成一条序列；相似度任务把两个句子按两种顺序分别拼接、取表示相加；问答和常识推理任务把文档、问题和每个候选答案拼成 [z; q; \$; a_k]，对每个候选分别过一遍模型再 softmax 归一化。每种任务都要加一个新的线性输出层 \(W_y\)，用 \(\log P(y \mid x_1, \dots, x_m) = \mathrm{softmax}(h_l^m W_y)\) 这个目标对全部参数做梯度更新，训练目标还额外混入原始语言建模损失作为辅助项（\(\mathcal{L}_3 = \mathcal{L}_2 + \lambda \mathcal{L}_1\)，\(\lambda = 0.5\)）。

这意味着 GPT-1 时代的”任务接口”依然是架构级的：不同任务需要不同的输入格式、不同的输出层、一次独立的梯度更新过程。GPT-1 证明的是”生成式预训练能给下游判别任务提供好的初始化”，不是”同一组权重不改就能跨任务用”。它在 9/12 个任务上刷新了当时的 SOTA（MultiNLI +1.5%、RACE +5.7%、Story Cloze +8.9%），但这些数字都来自微调后的模型，不是零样本模型。

真正值得记住的是论文第 5 节一个经常被后来叙事忽略的分析实验：作者在完全不做微调的情况下，直接用预训练语言模型的输出分布做启发式零样本预测——比如对 SST-2 情感分类，在句子后面加一个 “very” token，只看模型给 “positive” 和 “negative” 两个词的相对概率；对 RACE，比较模型给每个候选答案续写整段文本的平均对数概率。图 2(right) 显示，这类零样本启发式的准确率随着预训练步数的增加持续、稳定上升。“预训练模型不微调也能做任务”这件事，在 GPT-1 论文里已经作为附属发现出现过，只是当时的主线方法仍然是”预训练 + 微调”，零样本只是分析工具，不是产品形态。GPT-2 要做的，正是把这个附属发现，扶正成主线方法。

三、GPT-2：拿掉微调，把任务写进文本

GPT-2 的论文标题本身就是主张：Language Models are Unsupervised Multitask Learners（Radford et al., OpenAI, 2019）。最大的 GPT-2 模型是 1.5B 参数，比 GPT-1 大一个数量级，训练数据换成了 WebText——从 Reddit 外链中筛选出至少获得 3 个 karma 的 4500 万条链接，去重清洗后剩下 800 余万篇文档、40GB 文本（论文明确排除了 Wikipedia，因为它是常见的下游评测数据源，容易造成污染分析上的混淆）。

接口层面的断裂发生在这里：GPT-2 不再要求为每个任务加输出层、跑微调，而是把任务描述直接写进输入文本。论文里的翻译例子是：

Translate English to French:
English: The cat is on the mat.
French:

模型接着往下生成，这个过程零梯度更新、零任务专属参数。GPT-2 论文把这种设定称为zero-shot task transfer——“zero-shot”这个词本身在 GPT-1 的附属实验里已经出现过雏形，GPT-2 把它做成了论文的核心评测协议：在 8 个语言建模数据集里的 7 个上，GPT-2 不做任何微调就拿到了当时的 SOTA；在 CoQA 阅读理解上零样本达到 55 F1，超过了 4 个用了 127,000+ 训练样本的监督基线里的 3 个。论文同时报告，模型容量对零样本迁移效果的提升呈对数线性（log-linear）关系，且最大的 1.5B 模型仍然对 40GB 的 WebText 欠拟合——换句话说，规模还没触顶。

要精确定位这次断裂：预训练目标没变，Decoder-only 架构没变，变的是任务被表达的方式。GPT-1 时代任务是”一组权重 + 一个专属输出层 + 一次梯度更新”；GPT-2 把任务变成了”一段自然语言前缀”，模型的参数在推理时完全冻结。这一步没有让模型变得更聪明，而是把”怎么让模型知道该做什么任务”这件事，从架构决策搬进了文本本身——这正是三年后 in-context learning 被系统研究的前提。

四、GPT-3：规模断裂点，以及 ICL 到底是不是”学习”

GPT-3 的论文标题是 Language Models are Few-Shot Learners（Brown et al., NeurIPS 2020）。规格上，GPT-3 有 96 层、\(d_{\text{model}}=12288\)、96 个注意力头，175B 参数，比 GPT-2 再大两个数量级。训练数据是过滤后的 Common Crawl（60% 权重）、扩展版 WebText2（22%）、Books1（8%）、Books2（8%）、Wikipedia（3%）按不等权重混合采样出的 300B token——高质量数据集被重复采样 2 到 3 次，Common Crawl 和 Books2 反而被采样不足一遍（论文 Table 2.2），这是一次”宁可承受一点过拟合也要提高训练数据质量”的显式权衡，呼应 35｜数据工程 里”数据质量比数据量重要”的主张。

4.1 术语在这里被钉死

GPT-3 论文第 1 节专门做了一次术语澄清：过去”zero-shot transfer”这个说法容易和”完全没看过任何例子”混淆，因为很多设定其实在推理时给了示范样本，只是没有梯度更新。论文提出用meta-learning 指代”预训练阶段学会一组可快速适配的能力”这件事的外循环，用in-context learning 专指”利用一次前向传播内的上下文完成任务适配”这件事的内循环，并进一步按推理时给的示例数量细分成 zero-shot / one-shot / few-shot。这套术语此后成了整个领域的标准词汇，GPT-3 论文图 1.3 显示，few-shot 性能随模型规模增长的速度明显快于 zero-shot，这是”规模不仅降低 loss，还专门放大 ICL 能力”这一论断的直接证据。

4.2 争论：ICL 到底在学什么

“给几个例子，模型就会做任务”这件事看起来像学习，但没有任何参数更新——这个矛盾该怎么解释，从 GPT-3 论文发表起就没有定论，而这正是本篇要交代的第一处真正的学术争论。

• 隐式贝叶斯推断说：Xie et al.（An Explanation of In-context Learning as Implicit Bayesian Inference, ICLR 2022）构造了一个由多个隐马尔可夫模型混合生成的合成数据集 GINC，证明当预训练语料具有”文档级隐含概念”的长程一致性时，ICL 会自然涌现——模型在预训练时被迫学会推断当前文档的隐含概念才能生成连贯的下一个 token，推理时同样对 prompt 里的示例做隐含概念推断。这套理论的优点是有严格证明，缺点是建立在合成 HMM 数据上，能否原样推广到互联网规模的真实语料还不确定。
• 演示只提供格式，不提供映射说：Min et al.（Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?, EMNLP 2022）在 12 个模型（含 GPT-3）上做了受控实验：把 few-shot 演示里的标签随机替换成错误标签，分类和多选任务的准确率几乎没有下降。作者的结论是，演示真正提供的是标签空间、输入文本分布和序列整体格式这三件事，而不是”输入到标签”这条具体映射——模型很大程度上不是在从例子里学规则，而是在从格式里认出任务。
• 规模依赖的语义先验覆盖说：Wei, J. et al.（Larger Language Models Do In-Context Learning Differently, arXiv:2303.03846, 2023——未经 peer review，原投稿 ICLR 2024 后被撤回）用翻转标签（flipped-label ICL）和语义无关标签（SUL-ICL）两组实验，发现小模型会忽略和预训练语义先验相矛盾的示例标签，只有足够大的模型才能被 in-context 示例”说服”去覆盖先验——这项能力本身是”模型规模的涌现能力”。这个结果和 Min et al. 的发现并不矛盾：Min 的随机标签实验测的是”标签本身是否被使用”，Wei 的翻转标签实验测的是”标签冲突时模型信哪个”，两者合起来说明 ICL 对标签的利用程度本身是规模依赖的，不是一个非黑即白的能力。
• 隐式梯度下降说与它的反例：von Oswald et al.（Transformers Learn In-Context by Gradient Descent, ICML 2023, Oral）给出了一个具体的权重构造，证明一层线性 self-attention 可以在数学上等价于对回归损失做一步梯度下降，并在简单回归任务上验证了训练出来的 Transformer 权重确实收敛到这个构造附近——这是”ICL 就是模型在前向传播里隐式执行了优化”这一假说最具体的机制证据。但 Deutch et al.（In-context Learning and Gradient Descent Revisited, NAACL 2024）在真实 NLP 任务和模型上复核了这套对应关系，发现一个反直觉的结果：未经训练的随机初始化模型在他们的相似度指标上，得分和训练好的模型相当接近，同时论文识别出 ICL 和梯度下降之间存在”层因果性（layer causality）“的信息流差异，认为现有证据不足以支撑”ICL 在真实大模型上等价于梯度下降”这个强结论，只在他们提出的更严格的层因果 GD 变体下才有更好的相似度。

四条线放在一起看，能确认的共识只有一点：ICL 是规模依赖的现象，但”依赖规模的到底是哪种机制”目前没有统一答案——贝叶斯推断说和隐式梯度下降说都在各自受限的合成或简化设定里成立，一旦搬到真实大模型和真实任务上（如 Min 2022、Deutch 2024 所做的），现有理论都会暴露解释力不足的地方。这不是”细节还没填满”的小问题，而是”ICL 的机制本身仍是开放问题”。

五、InstructGPT：预训练目标不变，输出分布被重新对齐

GPT-3 仍然是一个纯粹的续写模型：给它一句指令，它可能续写出一整段网页、模仿论坛闲聊，或者干脆接着写一份看起来像考试题目的文本，而不是直接给出答案。这个问题在 32｜指令微调 和 33｜RLHF 里已经拆解过机制本身，本节只钉住一件事：InstructGPT 在 GPT 这条线上具体改变和没改变的是什么。

Ouyang et al.（Training language models to follow instructions with human feedback, NeurIPS 2022）的流程是：先用人工示范做 SFT，再收集偏好排序数据训练奖励模型，最后用 PPO 优化策略。这三步全部发生在预训练完成之后——InstructGPT 沿用的仍然是 GPT-3 的架构，训练规模覆盖 1.3B / 6B / 175B 三档，预训练阶段的 next-token prediction 目标没有被替换。换句话说，从 GPT-3 到 InstructGPT，“不变量”清单里唯一新增的是后训练阶段，预训练目标、Decoder-only 架构这两项继续保持不变。

这次调整带来的效果差异，论文给出了具体到可以直接引用的数字，而不是”更像助手了”这种模糊描述：在人工评测中，1.3B 参数的 InstructGPT 输出被标注员偏好的比例超过了 175B 的 GPT-3，尽管参数量少了两个数量级；175B InstructGPT 的输出相对 175B GPT-3 的默认输出，被偏好的比例是 85±3%，相对精心构造 few-shot prompt 之后的 175B GPT-3，被偏好的比例仍有 71±4%。这组数字直接构成了本篇后面”能力该归因于 scale 还是对齐”这场争论里，“对齐”一方最硬的证据：在”人类更喜欢哪个回答”这个具体指标上，对齐方法能让参数量小两个数量级的模型赢过没对齐的大模型。这不代表对齐让小模型在所有维度上超过大模型——InstructGPT 论文同样报告了在部分公开 NLP 数据集上的轻微性能回退，说明这次重定向不是纯收益，而是一次”用少量通用续写能力换取指令遵循和真实性”的权衡，这个权衡本身在 32｜指令微调 第四节已有过讨论。

六、ChatGPT：产品接口，不是新目标函数

ChatGPT 在 OpenAI 官方博客 Introducing ChatGPT（2022 年 11 月）里被明确描述为 InstructGPT 的”姊妹模型”（sibling model）：从一个 GPT-3.5 系列模型（2022 年初完成训练）微调而来，使用和 InstructGPT 相同的 RLHF 方法，区别主要在数据采集方式——标注员扮演用户和助手双方进行多轮对话，再把这批对话数据和转换成对话格式的 InstructGPT 数据混合起来做 SFT，随后用同样的比较数据训练奖励模型、用 PPO 迭代优化。

这次跃迁在四个维度上几乎没有新增：预训练目标不变、Decoder-only 架构不变、参数规模延续 GPT-3.5 系列、对齐机制沿用 InstructGPT 的 SFT+RLHF 流程。真正改变的是产品和交互形态——多轮对话历史被拼接成同一条 causal 序列，系统提示、用户消息、模型回复共享同一个 token 流，用户第一次不需要理解”prompt 工程”就能获得可用的回答体验。这次断裂发生在产品层，不是模型层，但它对外界感知的影响远超前面几次架构或规模上的跃迁——这也是为什么”GPT 系列”和”ChatGPT 现象”经常被混为一谈，而本文要强调的正是：这次跃迁没有改变本文第一节表格里的任何一个技术维度，只是把已经存在的对齐能力，装进了一个任何人都会用的界面里。

七、GPT-4：公开材料能证到哪里

GPT-4 Technical Report（OpenAI, arXiv:2303.08774, 2023）的公开程度和前三代形成了鲜明对比，报告原文这样写：

Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.

这句话之外，报告确认的信息很具体，也很有限：GPT-4 仍然是”Transformer 风格模型，预训练目标是预测文档中的下一个 token，使用公开互联网数据与第三方授权数据，训练完成后用 RLHF 微调”；它是多模态模型，能接受图像和文本混合输入；报告还提到一个工程侧的具体主张——他们构建的训练基础设施可以从用 1000 到 10000 倍更少算力训练的小模型上，可预测地推断出 GPT-4 部分性能指标，这与 34｜Scaling Laws 里”规模规律可以用小实验外推”的方法论一致，但报告没有公开外推所用的具体拟合曲线和数据点。

架构、参数量、训练算力、数据构成这四项——本文第一节表格里”参数规模”和”架构公开程度”两列的空白——报告明确声明不披露。2023 年年中，包括 George Hotz（Comma.ai 创始人）等业内人士公开声称 GPT-4 采用混合专家（MoE）架构、总参数量约 1.8 万亿、16 个专家中每次路由 2 个，这类说法在社群里被广泛转载，但没有得到 OpenAI 官方证实，写作时只能标注为”未经证实的业内推测”，不能当作技术结论使用——这正是 WRITING_GUIDE 反复强调的边界：公开材料能支持的判断，和网络传言能提供的想象，必须分开写。

八、Decoder-only 为什么锁死了生态

从 GPT-1 到 GPT-4，Decoder-only 架构这一项是全篇唯一没有出现在任何一次断裂点里的维度。这不是因为 GPT 系列”懒得换架构”，而是因为 causal mask 决定的信息流——只能看过去、看不到未来——一旦确定，就会一路传导到训练数据管线、checkpoint 格式、评测口径，最终传导到 KV Cache、continuous batching、投机解码这些推理系统的默认假设上，这条完整的传导链已经在 40｜三大路线之争 里用 T5 的受控实验（同参数量、同计算量下，纯 causal 语言模型的 GLUE/SQuAD 分数明显低于允许输入双向可见的 prefix LM 和 Encoder-Decoder）和推理系统的假设逐条讲清楚了，这里不重复论证过程，只强调一点：GPT 系列能够在六年里反复重构任务接口、却始终不需要重构底层架构，恰恰是因为可见性图这个不变量从 GPT-1 第一天就定死了，后面的每一次接口断裂都是在同一张 mask 上做文章，不是在换 mask。

九、争论：能力该归因于 scale、数据，还是对齐

把前八节的证据放在一起，会发现”GPT 越来越强是因为规模越来越大”这句话经不起细看——至少有三条独立证据在往不同方向拉扯这个归因。

规模确实解释了很大一部分。Kaplan et al.（Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020）和 Hoffmann et al.（Training Compute-Optimal Large Language Models, NeurIPS 2022，即 Chinchilla）已经在 34｜Scaling Laws 里证明，loss 随参数量、数据量、计算量呈近似幂律下降是一条相当稳健的经验规律，GPT-3 论文图 1.3 里 few-shot 性能随规模增长快于 zero-shot，也确实是”规模专门放大了某种能力”的直接证据。

但对齐能在具体指标上压过规模两个数量级。第五节引用的数字很明确：1.3B 的 InstructGPT 在人类偏好评测上超过 175B 的 GPT-3。如果把”更强”直接等同于”参数更多”，这个结果就是反例——它说明至少在”人类觉得这个回答有没有用”这个维度上，后训练阶段的对齐方法能带来比再加两个数量级参数更大的边际收益。这不是说规模不重要，是说”哪个维度的能力”必须先讲清楚，再谈”该归因于什么”。

“能力的跃迁本身是不是真的”也存在争论。Wei et al.（Emergent Abilities of Large Language Models, TMLR 2022）系统整理了 BIG-Bench 等基准上一批”小模型接近随机、大模型突然大幅超过随机”的任务，把这类现象命名为涌现能力（emergent abilities），并指出这类跃迁无法从小模型的表现外推预测。Schaeffer et al.（Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023）用 InstructGPT/GPT-3 系列模型和 BIG-Bench 的 meta 分析给出了直接反驳：他们证明这些”突然涌现”的跳跃，很大程度上是评测指标本身非线性（比如 exact-match 准确率）造成的假象——换成连续指标（比如 token 级别的 Brier score）之后，同一批模型在同一批任务上的表现变成了平滑、连续、可预测的曲线。论文原文明确说明，这不是在断言大模型完全没有涌现能力，而是在说此前一批被广泛引用的”涌现”证据，很可能是研究者选择的度量方式造出来的假象，不是模型行为本身的根本变化。

三条证据合起来指向一个更谨慎的结论：“GPT 更强了”这句话必须先被拆成”在哪个具体指标上更强”，才能追问这个提升该归因于规模、数据还是对齐——规模对 loss 和部分 few-shot 能力的解释力有扎实证据；对齐对”人类偏好”这个具体指标的解释力同样有扎实证据，且量级压得过两位数的参数差距；而”跃迁式的能力提升”这件事本身，连它是不是真实存在，都还没有定论。任何只用”规模效应”或者只用”对齐带来质变”单一叙事覆盖全部现象的说法，都绕不开这三组互相牵制的证据。

十、开放问题

1. ICL 的机制解释仍未统一。隐式贝叶斯推断（Xie et al., ICLR 2022）、隐式梯度下降（von Oswald et al., ICML 2023）分别在各自的简化或合成设定里给出了严格构造，但把这些理论搬到真实大模型和真实任务上时，Min et al.（EMNLP 2022）和 Deutch et al.（NAACL 2024）都给出了让理论显得解释力不足的受控实验证据。这不是缺一篇论文就能补齐的空白，而是”用简化模型证明的机制，能不能代表数百亿参数模型里实际发生的计算”这个更根本的方法论问题，感兴趣的读者可以从 Dai et al.（ACL Findings 2023）关于”Transformer 作为元优化器”的系列工作的 Related Work 一节继续追踪进展。
2. 涌现能力的度量学争论还没有终局。Schaeffer et al.（NeurIPS 2023）的反驳集中在”已发表的涌现案例是否是度量假象”，但论文本身没有否定”某些能力确实只在大模型上才能达到实用水平”这个更弱的经验事实。度量选择、任务设计和统计功效之间的关系，仍然是评测大模型能力时容易被忽略的方法论陷阱。
3. GPT-4 及之后模型的不透明化，让”scale / 数据 / 对齐”三者的外部归因研究越来越难做。第七节已经说明 GPT-4 技术报告明确拒绝披露架构、参数量、训练算力和数据构成——这意味着任何关于 GPT-4 及后续模型”能力提升主要来自什么”的外部分析，都缺乏可核对的一手材料，只能依赖模型输出行为做间接推断。这个趋势如果持续，会让本节这类归因争论在未来几代模型上变得更难用公开材料回答，而不是更容易。

十一、关键概念回顾

• next-token prediction：给定前文预测下一个 token 的自回归训练目标，GPT-1 到 GPT-4 公开材料确认从未替换。
• task-specific input transformation：GPT-1 时代的任务接口，把结构化输入拼成单条序列，仍需为每个任务加输出层并全参数微调。
• zero-shot task transfer：GPT-2 提出的评测协议，任务描述写成自然语言前缀，推理时零梯度更新。
• in-context learning（ICL）：GPT-3 论文定义的术语，指利用一次前向传播内的上下文完成任务适配的”内循环”，与预训练阶段的”元学习外循环”相对。
• SFT / RLHF：InstructGPT 引入的后训练流程，预训练目标不变，通过监督微调和基于人类反馈的强化学习重定向输出分布，详见 32｜指令微调、33｜RLHF。
• 涌现能力（emergent abilities）：小模型接近随机、大模型突然显著超过随机的能力跃迁现象，其真实性和度量方式仍在争论中。

十二、常见误解

12.1 “GPT 每一代都是靠堆参数变强的”

不成立。InstructGPT 用后训练方法让 1.3B 模型在人类偏好评测上超过 175B 的 GPT-3，说明至少在部分指标上，对齐方法的边际收益能压过两个数量级的参数差距。规模、数据、对齐是三条需要分别核对的证据线，不能用一句话覆盖。

12.2 “in-context learning 就是模型在做梯度下降”

这是一个有严格构造支撑但适用范围有限的假说。von Oswald et al.（ICML 2023）的构造在简单回归任务上成立，但 Deutch et al.（NAACL 2024）在真实 NLP 模型上复核时发现未训练模型也能达到相近的相似度分数，说明这个对应关系搬到真实大模型上还没有被充分证实。

12.3 “GPT-3 论文证明了 few-shot 例子里模型真的学会了输入到标签的映射”

Min et al.（EMNLP 2022）的随机标签实验直接反驳了这个说法：把示例标签替换成随机标签，很多分类和多选任务的准确率几乎不受影响，说明演示提供的更多是标签空间和格式信息，不是精确的映射关系。

12.4 “GPT-4 的所有能力提升都可以归因于规模更大”

无法验证。GPT-4 技术报告明确拒绝公开参数量、架构和训练算力，外部无法拿到核对”规模到底大了多少”的一手材料；网络上关于 MoE 架构和万亿参数量的说法至今未获 OpenAI 证实，只能算传闻，不能当作能力提升的归因证据。

十三、下一步

GPT 把 Decoder-only 和自回归生成钉死成了大模型时代的主流接口，但它不是唯一路线。下一篇进入 39｜T5：第三条路线如何把几乎所有 NLP 任务改写成 Text-to-Text，span corruption 和任务前缀在训练与评测里到底改了什么，以及 Encoder-Decoder 为什么在通用助手时代更难吃上 Decoder 那套 serving 假设——这个问题会在 40｜三大路线之争 里用受控实验和推理系统的默认假设给出最终答案。

十四、参考文献

1. Radford, A. et al. “Improving Language Understanding by Generative Pre-Training.” OpenAI, 2018. GPT-1 技术报告，任务专属输入变换与全参数微调接口的原始定义。
2. Radford, A. et al. “Language Models are Unsupervised Multitask Learners.” OpenAI, 2019. GPT-2 技术报告，zero-shot task transfer 与 WebText 数据集构造。
3. Brown, T. et al. “Language Models are Few-Shot Learners.” NeurIPS 2020. GPT-3 论文，in-context learning 术语的正式定义与 zero/one/few-shot 区分（Section 1、Section 2、Table 2.1、Table 2.2）。
4. Ouyang, L. et al. “Training language models to follow instructions with human feedback.” NeurIPS 2022. InstructGPT，SFT + RM + PPO 流程与 1.3B 优于 175B GPT-3 的人类偏好数据。
5. OpenAI. “GPT-4 Technical Report.” arXiv:2303.08774, 2023. 明确声明不披露架构、参数量、训练算力与数据构成的原始出处。
6. OpenAI. “GPT-4 System Card.” 2023. GPT-4 安全评估与部署风险公开材料。
7. OpenAI. “Introducing ChatGPT.” OpenAI Blog, 2022. ChatGPT 作为 InstructGPT 姊妹模型、基于 GPT-3.5 系列微调的官方说明。
8. Kaplan, J. et al. “Scaling Laws for Neural Language Models.” arXiv:2001.08361, 2020.
9. Hoffmann, J. et al. “Training Compute-Optimal Large Language Models.” NeurIPS 2022. Chinchilla scaling laws。
10. Xie, S. M. et al. “An Explanation of In-context Learning as Implicit Bayesian Inference.” ICLR 2022. ICL 的隐式贝叶斯推断理论与 GINC 合成数据集。
11. Min, S. et al. “Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?” EMNLP 2022. 随机标签受控实验，反驳”ICL 在学输入到标签的映射”。
12. von Oswald, J. et al. “Transformers Learn In-Context by Gradient Descent.” ICML 2023（Oral）. ICL 隐式梯度下降的构造性证明。
13. Deutch, G. et al. “In-context Learning and Gradient Descent Revisited.” NAACL 2024. 对 ICL-梯度下降对应关系在真实模型上的复核与反例。
14. Wei, J. et al. “Larger Language Models Do In-Context Learning Differently.” arXiv:2303.03846, 2023. 未经 peer review（原投稿 ICLR 2024 后撤回）。规模依赖的语义先验覆盖实验。
15. Wei, J. et al. “Emergent Abilities of Large Language Models.” Transactions on Machine Learning Research, 2022. 涌现能力现象的系统整理。
16. Schaeffer, R. et al. “Are Emergent Abilities of Large Language Models a Mirage?” NeurIPS 2023. 涌现能力度量假象的受控反驳。

← 上一篇：37｜BERT　|　下一篇：39｜T5 →