decoder 标签归档 | 土法炼钢 · 系统与基础设施

decoder 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】23｜Decoder 详解：为什么它天生适合生成

2026-04-15 | transformer | #transformer #decoder #causal-mask #autoregressive #gpt

把 Transformer decoder 拆开讲透：masked self-attention、cross-attention、FFN 三块子层如何串起来；训练时为什么能并行、推理时为什么必须串行；以及 decoder-only 为什么会成为 GPT 时代的主流路线。

【Transformer 与注意力机制】20｜Transformer 整体架构：一张图看懂

2026-04-15 | transformer | #transformer #architecture #encoder #decoder #overview #summary

把 18 篇文章里讲过的所有零件——QKV、多头注意力、causal mask、位置编码、FFN、残差、归一化——拼成一张完整的 Transformer 图。跟随一个 token 走完从输入到输出的全部旅程，建立对架构的「身体记忆」。