【Transformer 与注意力机制】10 RNN 的根本局限：为什么需要 Transformer
RNN 三难（长程依赖、梯度稳定、训练并行）的系统分析；attention 如何作为补丁逐步把 RNN 推向极限；Vaswani 2017 抛弃循环的范式革命
rnn 标签归档
共 2 篇文章 · 返回首页
【Transformer 与注意力机制】09 RNN 与序列建模：Transformer 之前的世界
在 Transformer 出现之前，序列建模属于 RNN 的世界。本文从 Vanilla RNN 讲起，经过 BPTT、梯度消失爆炸、LSTM、GRU，到 Sutskever 2014 的 Seq2Seq 框架，完整讲述 RNN 时代的故事和它留下的工程经验。