t5 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】39｜T5：把所有 NLP 任务塞进 Text-to-Text，代价在哪里

2026-08-06 | transformer | #transformer #t5 #text-to-text #encoder-decoder #span-corruption #c4

T5 把翻译、分类、摘要、问答都改写成统一的文本到文本任务，但这个接口不是免费的。本文拆开 span corruption 的 corruption rate 和平均 span 长度旋钮、T5 论文的原始消融数字、任务前缀如何变成模型的格式捷径、C4 清洗规则本身携带的归纳偏置，以及 Encoder-Decoder…

【Transformer 与注意力机制】30｜预训练目标：BERT、GPT、T5 其实在学三种不同的事

2026-04-15 | transformer | #transformer #pretraining #gpt #bert #t5

这篇文章只比较文本模型里最重要的三类预训练目标：GPT 的自回归语言建模、BERT 的掩码语言建模、T5/BART 的去噪式序列到序列。重点不是背定义，而是看清它们各自优化什么接口、为什么迁移方式不同，以及为什么通用 LLM 最后大多落到 decoder-only 的 next-token prediction。