encoder-decoder 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】39｜T5：把所有 NLP 任务统一成 Text-to-Text

2026-04-15 | transformer | #transformer #t5 #text-to-text #encoder-decoder #span-corruption

T5 的核心不是又发明了一种 Transformer，而是把翻译、摘要、分类、问答都改写成“输入文本到输出文本”的统一格式。本文解释 T5 为什么选择 Encoder-Decoder 架构，span corruption 和 BERT/GPT 的目标有什么差异，C4 和系统化消融实验为什么让 T5 成为迁移学习路线的重要基准。

【Transformer 与注意力机制】40｜三大路线之争：为什么大模型几乎都是 Decoder-only

2026-04-15 | transformer | #transformer #encoder-only #encoder-decoder #decoder-only #llm

Transformer 不是只有一种形态。Encoder-only、Encoder-Decoder、Decoder-only 分别对应理解、条件生成和自回归生成三类信息流。本文横向比较 BERT、T5、GPT 代表的三条路线，解释为什么通用大模型时代 Decoder-only 占主流，以及为什么这不意味着另外两条路线失去价值。