in-context-learning 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】38｜GPT 系列：从续写到助手，每一代到底改变了什么

2026-08-08 | transformer | #transformer #gpt #decoder-only #in-context-learning #scaling-laws #rlhf

GPT-1 到 GPT-4 四次跃迁里，next-token prediction 这个目标函数从未换过，真正变化的是任务接口、参数规模和对齐机制。本文只用公开论文与技术报告拆解每代的改与不改，并摆开 in-context learning 机制、涌现能力是否为度量假象、能力该归因 scale、数据还是对齐这几个仍在争论的问题。

【Transformer 与注意力机制】54｜涌现能力：规模效应、评测假象与可预测性之争

2026-08-06 | transformer | #transformer #emergence #in-context-learning #chain-of-thought #scaling #big-bench #evaluation

Wei et al. 用 BIG-Bench 定义了"涌现能力"，Schaeffer et al. 用一个数学模型证明很多涌现曲线是非线性指标的产物。本文梳理这场争论的证据链、in-context learning 与 Chain-of-Thought 各自的机制证据，以及涌现能力是否可预测、可诱导两个仍未解决的问题。