gilbert-strang 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】03|矩阵乘法的四种视角:Gilbert Strang 如何看透 QK^T 与特征融合

以 Gilbert Strang 矩阵乘法的四种等价视角(点积、列线性组合、行线性组合、秩 1 外积之和)拆解 C = AB,手算 2×3 乘 3×2 全四种视角,并直接映射到 QK^T、attn·V、LoRA 低秩、多头注意力秩瓶颈与 GPU 算术强度。