【Transformer 与注意力机制】03.5|Gilbert Strang 线性代数核心地图:四个子空间、投影、特征值与 SVD 如何贯通 Transformer
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 3 篇文章 · 返回首页
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
以 Gilbert Strang 矩阵乘法的四种等价视角(点积、列线性组合、行线性组合、秩 1 外积之和)拆解 C = AB,手算 2×3 乘 3×2 全四种视角,并直接映射到 QK^T、attn·V、LoRA 低秩、多头注意力秩瓶颈与 GPU 算术强度。
仿 MIT 18.06/6.S191 闭卷手算风格的三套 Transformer 课程考卷(Quiz 1 100分、期中 100分、期末 120分),含精确分步标准解答、纯 Python 核验脚本与弱点章节回溯矩阵。