rnn 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】08.5 神经网络基础：神经元、反向传播手算与 MLP 训练

神经网络训练就是前向、损失、反向、更新四步循环。本文用一个可手算的标量网络逐步推出反向传播梯度，再推广到两层 MLP 的矩阵求导，给出 NumPy 手写与 PyTorch 对照实现和真实训练曲线，最后说明固定窗口 MLP 为什么处理不好序列、RNN 改了哪一条边。

RNN 三难（长程依赖、梯度稳定、训练并行）的系统分析；attention 如何作为补丁逐步把 RNN 推向极限；Vaswani 2017 抛弃循环的范式革命

在 Transformer 出现之前，序列建模属于 RNN 的世界。本文从 Vanilla RNN 讲起，经过 BPTT、梯度消失爆炸、LSTM、GRU，到 Sutskever 2014 的 Seq2Seq 框架，完整讲述 RNN 时代的故事和它留下的工程经验。