【强化学习与大模型后训练】14｜推理模型训练：o1/R1 范式与长思维链
推理模型通过强化学习训练长思维链（long CoT），在测试时执行多步推理以提升复杂任务性能。o1与R1展示了不同的训练策略与能力边界。
scaling 标签归档
共 3 篇文章 · 返回首页
【Transformer 与注意力机制】54｜涌现能力：上下文学习与思维链为什么会出现
大模型能力有时看起来会突然出现，但“涌现”既包含真实规模效应，也受到指标阈值、任务格式和评测方法影响。本文解释 emergent abilities 的争议、in-context learning、Chain-of-Thought、规模与数据的关系，以及为什么不能把涌现神秘化。
15｜Scaled Dot-Product：那个根号 d_k 是怎么来的
> 本文从零推导注意力机制点积方差的来源，解释缩放因子如何防范梯度弥散，并作为大模型 Scaling Laws 数值稳定的基石。