土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】17｜Causal Mask：让模型只看过去不看未来

2026-04-15 | transformer | #attention #causal-mask #autoregressive #teacher-forcing #prefix-lm #sequence-packing #kv-cache #attention-sink #flashattention #pytorch-sdpa

自回归模型训练要并行、生成不能偷看未来。本文从 teacher forcing 推到 mask 矩阵，对比 causal、prefix LM、滑窗与 packing 文档掩码，结合 KV cache 对齐、FlashAttention 跳块与 GPT-2 实测 attention sink，说明 mask 决定训练并行性、推理对齐方式和 sink 落点。