2026-08-06 | transformer | #transformer #positional-encoding #rope #alibi #long-context #length-generalization
RoPE 把位置从"加在输入上的向量"焊进了 Q·Kᵀ 本身——本文推导旋转后点积为何只依赖相对位置，核对高频通道在长距离上的绕圈失真、RoPE scaling/YaRN 到底改了哪个假设；再看 ALiBi 的线性 bias 何时帮、何时伤长程依赖；最后用 RULER、Lost in the Middle 说明"跑得动"和"用得好"是两件事，并摆出一条有文献支撑的争论：相对位置编码是否在用归纳偏置换长度。
2026-04-15 | transformer | #transformer #positional-encoding #sinusoidal #attention
从「self-attention 是排列等变的」这件几乎被忽视的事实出发，推导出位置编码不是装饰、不是工程小技巧，而是结构性必需。原论文为什么选正弦、那个奇怪的 10000 是怎么来的、PE 与 embedding 是相加还是拼接、可学习位置和 sinusoidal 的本质差别在哪、为什么训练 512 推理 2048 会让可学习位置难以直接外推——这一篇把这些问题一次讲完，并把读者交到现代位置编码（RoPE、ALiBi）的门口。