土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】11｜「注意力」的直觉

2026-04-15 | transformer | #attention #soft-alignment #softmax #intuition #transformer

从人类阅读时的眼动出发，把「注意力」拆成视觉生理、翻译对齐、加权平均三件事。讲清楚为什么权重必须满足非负与和为一、为什么 softmax 不是审美选择而是可微优先的工程结果，以及为什么我们要选软选择而不是 argmax。