2026-08-06 | transformer | #transformer #decoding #sampling #beam-search #nucleus-sampling #repetition-penalty
语言模型每一步只输出一组 logits，真正决定输出哪个 token 的是解码策略。本文从 softmax 与 temperature 的几何直觉出发，讲清贪心、Beam Search 为何在开放生成中显得枯燥重复，top-k/top-p/min-p 叠加时的组合陷阱，以及重复惩罚、presence/frequency penalty 对专有名词和代码的副作用，并给出采样是否掩盖模型校准问题的学界争论。
2026-08-08 | transformer | #transformer #attention #degeneration #decoding #causal-mask #kv-cache #numerical-stability #repetition
推理退化不是单一故障。死循环、乱码/控制字符、无意义数字串各自踩中注意力正反馈、数值溢出与词表边缘的不同路径。本文分清三种形态的触发条件与可观察信号，钉住 Softmax 马太效应、Attention Sink、Causal Mask 退路切断、FP16/量化与 KV Cache 污染，并给出架构到运行时的分层防线、争论与开放问题。