土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】10 RNN 的根本局限：为什么需要 Transformer

2026-04-15 | transformer | #transformer #rnn #attention #长程依赖

RNN 三难（长程依赖、梯度稳定、训练并行）的系统分析；attention 如何作为补丁逐步把 RNN 推向极限；Vaswani 2017 抛弃循环的范式革命