土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】59｜推理退化：乱码、死循环与无意义文本为何不是同一种 bug

2026-08-08 | transformer | #transformer #attention #degeneration #decoding #causal-mask #kv-cache #numerical-stability #repetition

推理退化不是单一故障。死循环、乱码/控制字符、无意义数字串各自踩中注意力正反馈、数值溢出与词表边缘的不同路径。本文分清三种形态的触发条件与可观察信号，钉住 Softmax 马太效应、Attention Sink、Causal Mask 退路切断、FP16/量化与 KV Cache 污染，并给出架构到运行时的分层防线、争论与开放问题。