土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】41｜位置编码演进：从 Sinusoidal 到 RoPE、ALiBi 与长度外推的边界

2026-08-06 | transformer | #transformer #positional-encoding #rope #alibi #long-context #length-generalization

RoPE 把位置从"加在输入上的向量"焊进了 Q·Kᵀ 本身——本文推导旋转后点积为何只依赖相对位置，核对高频通道在长距离上的绕圈失真、RoPE scaling/YaRN 到底改了哪个假设；再看 ALiBi 的线性 bias 何时帮、何时伤长程依赖；最后用 RULER、Lost in the Middle 说明"跑得动"和"用得好"是两件事，并摆出一条有文献支撑的争论：相对位置编码是否在用归纳偏置换长度。