土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】39｜T5：把所有 NLP 任务塞进 Text-to-Text，代价在哪里

2026-08-06 | transformer | #transformer #t5 #text-to-text #encoder-decoder #span-corruption #c4

T5 把翻译、分类、摘要、问答都改写成统一的文本到文本任务，但这个接口不是免费的。本文拆开 span corruption 的 corruption rate 和平均 span 长度旋钮、T5 论文的原始消融数字、任务前缀如何变成模型的格式捷径、C4 清洗规则本身携带的归纳偏置，以及 Encoder-Decoder 在推理服务上的结构性代价，并给出 Text-to-Text 是否该覆盖分类与检索这条至今没有定论的争论线。