【Transformer 与注意力机制】17｜Causal Mask：让模型只看过去不看未来
自回归模型训练要并行、生成不能偷看未来。本文从 teacher forcing 推到 mask 矩阵，对比 causal、prefix LM、滑窗与 packing 文档掩码，结合 KV cache 对齐、FlashAttention 跳块与 GPT-2 实测 attention sink，说明 mask 决定训练并行性、推理对齐方式和 sink 落点。
autoregressive 标签归档
共 2 篇文章 · 返回首页
【Transformer 与注意力机制】23｜Decoder 详解：为什么它天生适合生成
把 Transformer decoder 拆开讲透：masked self-attention、cross-attention、FFN 三块子层如何串起来；训练时为什么能并行、推理时为什么必须串行；以及 decoder-only 为什么会成为 GPT 时代的主流路线。