土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】14｜Self-Attention：让序列自己看自己

2026-04-15 | transformer | #transformer #attention #self-attention #permutation-equivariance

从 cross-attention 到 self-attention 的退化路径 → 为什么 self-attention 是 O(1) 跳数 → 为什么它对位置完全无知（permutation-equivariant） → 「The cat sat on the mat. It was tired.」中 it→ca…