softmax 标签归档

共 3 篇文章 · 返回首页

15｜Scaled Dot-Product：那个 √d_k 是怎么来的

很多人第一次读 Vaswani 2017 的公式时，都会卡在那一个 √dk 上。

Softmax 不是一个孤立的归一化函数，而是把任意实数分数变成概率分布的一座桥。本文从'为什么需要它'出发，讲清楚公式、几何、温度、稳定性、与交叉熵的配合，以及它在 Transformer 注意力里扮演的关键角色。

从人类阅读时的眼动出发，把「注意力」拆成视觉生理、翻译对齐、加权平均三件事。讲清楚为什么权重必须满足非负与和为一、为什么 softmax 不是审美选择而是可微优先的工程结果，以及为什么我们要选软选择而不是 argmax。