【Transformer 与注意力机制】54｜涌现能力：上下文学习与思维链为什么会出现
大模型能力有时看起来会突然出现，但“涌现”既包含真实规模效应，也受到指标阈值、任务格式和评测方法影响。本文解释 emergent abilities 的争议、in-context learning、Chain-of-Thought、规模与数据的关系，以及为什么不能把涌现神秘化。
scaling 标签归档
共 2 篇文章 · 返回首页
15｜Scaled Dot-Product：那个根号 d_k 是怎么来的
> 本文从零推导注意力机制点积方差的来源，解释缩放因子如何防范梯度弥散，并作为大模型 Scaling Laws 数值稳定的基石。