decoder-only 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】38｜GPT 系列：从 GPT-1 到 GPT-4 的路线演进

2026-04-15 | transformer | #transformer #gpt #decoder-only #autoregressive #llm

GPT 路线的关键不是某个模型名字，而是 Decoder-only Transformer、next-token prediction、规模扩展、上下文学习、指令微调和人类反馈逐步合流。本文从 GPT-1 讲到 GPT-4，只使用公开可确认信息，解释为什么自回归语言模型最终成为大语言模型时代的主线。

【Transformer 与注意力机制】40｜三大路线之争：为什么大模型几乎都是 Decoder-only

2026-04-15 | transformer | #transformer #encoder-only #encoder-decoder #decoder-only #llm

Transformer 不是只有一种形态。Encoder-only、Encoder-Decoder、Decoder-only 分别对应理解、条件生成和自回归生成三类信息流。本文横向比较 BERT、T5、GPT 代表的三条路线，解释为什么通用大模型时代 Decoder-only 占主流，以及为什么这不意味着另外两条路线失去价值。