【Transformer 与注意力机制】09 RNN 与序列建模：Transformer 之前的世界
在 Transformer 出现之前，序列建模属于 RNN 的世界。本文从 Vanilla RNN 讲起，经过 BPTT、梯度消失爆炸、LSTM、GRU，到 Sutskever 2014 的 Seq2Seq 框架，完整讲述 RNN 时代的故事和它留下的工程经验。
lstm 标签归档
共 1 篇文章 · 返回首页
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 1 篇文章 · 返回首页
在 Transformer 出现之前，序列建模属于 RNN 的世界。本文从 Vanilla RNN 讲起，经过 BPTT、梯度消失爆炸、LSTM、GRU，到 Sutskever 2014 的 Seq2Seq 框架，完整讲述 RNN 时代的故事和它留下的工程经验。