土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】39｜T5：把所有 NLP 任务统一成 Text-to-Text

2026-04-15 | transformer | #transformer #t5 #text-to-text #encoder-decoder #span-corruption

T5 的核心不是又发明了一种 Transformer，而是把翻译、摘要、分类、问答都改写成“输入文本到输出文本”的统一格式。本文解释 T5 为什么选择 Encoder-Decoder 架构，span corruption 和 BERT/GPT 的目标有什么差异，C4 和系统化消融实验为什么让 T5 成为迁移学习路线的重要基准。