decoder-only 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】38｜GPT 系列：从续写到助手，每一代到底改变了什么

2026-08-08 | transformer | #transformer #gpt #decoder-only #in-context-learning #scaling-laws #rlhf

GPT-1 到 GPT-4 四次跃迁里，next-token prediction 这个目标函数从未换过，真正变化的是任务接口、参数规模和对齐机制。本文只用公开论文与技术报告拆解每代的改与不改，并摆开 in-context learning 机制、涌现能力是否为度量假象、能力该归因 scale、数据还是对齐这几个仍在争论的问题。

【Transformer 与注意力机制】40｜三大路线之争：为什么大模型几乎都是 Decoder-only

2026-08-06 | transformer | #transformer #encoder-only #encoder-decoder #decoder-only #kv-cache #information-retrieval #llm-serving

Encoder-only、Encoder-Decoder、Decoder-only 的差异不是谁更聪明，而是谁能看见谁的信息流不变量。本文从可见性图出发，解释这个不变量如何锁死任务接口与训练管线，KV Cache、continuous batching、投机解码为什么默认假设单流 causal Decoder，以及 embedding、rerank、强制双向抽取场景为什么不该硬上生成式大模型。