【Transformer 与注意力机制】03.5|Gilbert Strang 线性代数核心地图:四个子空间、投影、特征值与 SVD 如何贯通 Transformer
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 4 篇文章 · 返回首页
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
用 Gilbert Strang 列视角解释查表映射与权重绑定,推导 Word2Vec 隐式分解移位 PMI 矩阵与 SVD 截断的等价性,解析 Transformer 嵌入缩放 √d_model 与高维几何。
从全参数微调的显存墙出发,用 Gilbert Strang SVD 与 Eckart-Young 定理揭示微调增量低秩的数学根源,严格推导 LoRA 前向、首步梯度与 alpha/r 缩放,并手算 3x3 验证。
推导对称与非对称仿射量化误差、SmoothQuant 对角等价迁移、AWQ 缩放、蒸馏 τ² 梯度归一化与 Strang SVD/OBS 低秩剪枝,附 2×2 手算与 NumPy 验证及 PPL 评测盲区。