【Transformer 与注意力机制】03.5|Gilbert Strang 线性代数核心地图:四个子空间、投影、特征值与 SVD 如何贯通 Transformer
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 3 篇文章 · 返回首页
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
以 Gilbert Strang 特征值分解与奇异值上界严格证明 RNN 梯度消失/爆炸的指数机制,完成 A^10 手算与 λ=0.5/1.0/1.5 数值实验,并拆解定长隐藏状态容量墙、GPU 串行瓶颈与 Mamba/RWKV 循环复兴的边界。
从 Gilbert Strang 特征值平移 (I + J_F) 出发,对比 L 层 plain 雅可比连乘与残差直路传播,推导 Pre-LN/Post-LN 流方差增长与 DeepNorm 缩放,并完成 2×2 手算与 50 层 NumPy 梯度实测。