土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】30｜预训练目标：BERT、GPT、T5 其实在学三种不同的事

2026-04-15 | transformer | #transformer #pretraining #gpt #bert #t5

预训练不只是“拿海量文本先训一下”这么笼统，而是先决定模型到底要预测什么。本文把三条主线拆开：GPT 的自回归语言建模、BERT 的掩码语言建模、T5/BART 的序列到序列去噪。它们分别擅长什么、牺牲什么，为什么最后大模型主航道几乎都走向了 decoder-only 的 next-token prediction。