土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】07 Softmax 与概率分布：从分数到选择的桥

2026-04-15 | transformer | #softmax #概率分布 #交叉熵 #温度采样 #数值稳定性 #attention #transformer

Softmax 不是一个孤立的归一化函数，而是把任意实数分数变成概率分布的一座桥。本文从'为什么需要它'出发，讲清楚公式、几何、温度、稳定性、与交叉熵的配合，以及它在 Transformer 注意力里扮演的关键角色。