beam-search 标签归档

共 1 篇文章 · 返回首页

【Transformer 与注意力机制】48|从 logits 到文本:解码策略是决策层,不是收尾细节

语言模型每一步只输出一组 logits,真正决定输出哪个 token 的是解码策略。本文从 softmax 与 temperature 的几何直觉出发,讲清贪心、Beam Search 为何在开放生成中显得枯燥重复,top-k/top-p/min-p 叠加时的组合陷阱,以及重复惩罚、presence/frequency penalty 对专有名词和代码的副作用,并给出采样是否掩盖模型校准问题的学界争论。