15｜Scaled Dot-Product：那个根号 d_k 是怎么来的
> 本文从零推导注意力机制点积方差的来源，解释缩放因子如何防范梯度弥散，并作为大模型 Scaling Laws 数值稳定的基石。
softmax 标签归档
共 3 篇文章 · 返回首页
【Transformer 与注意力机制】11｜「注意力」的直觉
从人类阅读时的眼动出发，把「注意力」拆成视觉生理、翻译对齐、加权平均三件事。讲清楚为什么权重必须满足非负与和为一、为什么 softmax 不是审美选择而是可微优先的工程结果，以及为什么我们要选连续概率选择而不是 argmax。
【Transformer 与注意力机制】07 Softmax 与概率分布：从分数到选择的桥
Softmax 不是一个孤立的归一化函数，而是把任意实数分数变成概率分布的一座桥。本文从'为什么需要它'出发，讲清楚公式、几何、温度、稳定性、与交叉熵的配合，以及它在 Transformer 注意力里扮演的关键角色。