2026-08-06 | transformer | #transformer #t5 #text-to-text #encoder-decoder #span-corruption #c4
T5 把翻译、分类、摘要、问答都改写成统一的文本到文本任务，但这个接口不是免费的。本文拆开 span corruption 的 corruption rate 和平均 span 长度旋钮、T5 论文的原始消融数字、任务前缀如何变成模型的格式捷径、C4 清洗规则本身携带的归纳偏置，以及 Encoder-Decoder 在推理服务上的结构性代价，并给出 Text-to-Text 是否该覆盖分类与检索这条至今没有定论的争论线。
2026-08-06 | transformer | #transformer #encoder-only #encoder-decoder #decoder-only #kv-cache #information-retrieval #llm-serving
Encoder-only、Encoder-Decoder、Decoder-only 的差异不是谁更聪明，而是谁能看见谁的信息流不变量。本文从可见性图出发，解释这个不变量如何锁死任务接口与训练管线，KV Cache、continuous batching、投机解码为什么默认假设单流 causal Decoder，以及 embedding、rerank、强制双向抽取场景为什么不该硬上生成式大模型。