gpt 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】38｜GPT 系列：从 GPT-1 到 GPT-4 的路线演进

2026-04-15 | transformer | #transformer #gpt #decoder-only #autoregressive #llm

GPT 路线的关键不是某个模型名字，而是 Decoder-only Transformer、next-token prediction、规模扩展、上下文学习、指令微调和人类反馈逐步合流。本文从 GPT-1 讲到 GPT-4，只使用公开可确认信息，解释为什么自回归语言模型最终成为大语言模型时代的主线。

【Transformer 与注意力机制】23｜Decoder 详解：为什么它天生适合生成

2026-04-15 | transformer | #transformer #decoder #causal-mask #autoregressive #gpt

把 Transformer decoder 拆开讲透：masked self-attention、cross-attention、FFN 三块子层如何串起来；训练时为什么能并行、推理时为什么必须串行；以及 decoder-only 为什么会成为 GPT 时代的主流路线。

【Transformer 与注意力机制】30｜预训练目标：BERT、GPT、T5 其实在学三种不同的事

2026-04-15 | transformer | #transformer #pretraining #gpt #bert #t5

预训练不只是“拿海量文本先训一下”这么笼统，而是先决定模型到底要预测什么。本文把三条主线拆开：GPT 的自回归语言建模、BERT 的掩码语言建模、T5/BART 的序列到序列去噪。它们分别擅长什么、牺牲什么，为什么最后大模型主航道几乎都走向了 decoder-only 的 next-token prediction。