scaled-dot-product 标签归档 | 土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】13｜Q/K/V 三件套：把 Bahdanau 抽象成一个公式

2026-04-15 | transformer | #transformer #attention #qkv #scaled-dot-product

信息检索类比 → Bahdanau 到 Q/K/V 的演化 → 为什么要分开 Q/K/V → softmax(QKᵀ/√d_k)V 公式逐项拆解 → 维度走查 → 三 token、d_k=2 的玩具示例手算 → additive vs multiplicative 取舍 → 自注意力时 Q/K/V 同源的特殊性。这是整个系列最重要的一篇。

【Transformer 与注意力机制】16｜Multi-Head Attention：为什么要分多个头

2026-04-15 | transformer | #attention #multi-head #transformer #scaled-dot-product #model-architecture

单头注意力一次只能学一种关系，但语言里同时存在句法、指代、语义、位置等多重模式。Multi-Head Attention 把 d_model 切成 h 份并行做 attention，让模型在不增加参数量的前提下，同一步内同时形成多个独立的注意力分布。本文从直觉、数学、代码、可视化四个层面讲清楚为什么 Transformer 一定要多头。