【Transformer 与注意力机制】03 矩阵乘法的两种视角
把矩阵乘法掰开成两种等价但风格不同的视角——『行 × 列』的点积视角和『列的线性组合』视角，最终落到 QK^T 的形状分析。
Transformer 标签归档
共 2 篇文章 · 返回首页
【Transformer 与注意力机制】02 向量与点积的几何直觉
从二维平面上的箭头开始，把『向量、内积、夹角、相似度』这几个概念用几何方式串起来，最后落到注意力公式里那个 QK^T 的来历。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 2 篇文章 · 返回首页
把矩阵乘法掰开成两种等价但风格不同的视角——『行 × 列』的点积视角和『列的线性组合』视角，最终落到 QK^T 的形状分析。
从二维平面上的箭头开始，把『向量、内积、夹角、相似度』这几个概念用几何方式串起来，最后落到注意力公式里那个 QK^T 的来历。