【Transformer 与注意力机制】12｜Bahdanau Attention：注意力的早期形态
把 Bahdanau, Cho, Bengio 2014 那篇「Neural Machine Translation by Jointly Learning to Align and Translate」逐项拆开。固定 context vector 的瓶颈、双向 RNN 编码、additive attention 公…
nmt 标签归档
共 2 篇文章 · 返回首页
【Transformer 与注意力机制】19｜《Attention Is All You Need》论文背景
回到 2017 年 6 月那篇论文：八位作者、Google Brain/Translate 的内部背景、LSTM 时代的工程困境、为什么这篇在当年是「机器翻译的论文」、为什么七年后却被读成了「大模型时代的圣经」。