scaling 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】54｜涌现能力：规模效应、评测假象与可预测性之争

2026-08-06 | transformer | #transformer #emergence #in-context-learning #chain-of-thought #scaling #big-bench #evaluation

Wei et al. 用 BIG-Bench 定义了"涌现能力"，Schaeffer et al. 用一个数学模型证明很多涌现曲线是非线性指标的产物。本文梳理这场争论的证据链、in-context learning 与 Chain-of-Thought 各自的机制证据，以及涌现能力是否可预测、可诱导两个仍未解决的问题。

【强化学习与大模型后训练】14｜推理模型训练：o1/R1 范式与长思维链

2026-05-29 | rl-posttraining | #reasoning models #o1 #DeepSeek-R1 #chain-of-thought #CoT #reinforcement learning #test-time compute #scaling #distillation #RLVR

推理模型通过强化学习训练长思维链（long CoT），在测试时执行多步推理以提升复杂任务性能。o1与R1展示了不同的训练策略与能力边界。

【Transformer】15｜Scaled Dot-Product：那个根号 d_k 是怎么来的

2026-04-15 | transformer | #attention #softmax #scaling #variance #transformer

> 本文从零推导注意力机制点积方差的来源，解释缩放因子如何防范梯度弥散，并作为大模型 Scaling Laws 数值稳定的基石。