【Transformer 与注意力机制】31|微调演进:从全参数到 LoRA
从全参数微调的显存墙出发,用 Gilbert Strang SVD 与 Eckart-Young 定理揭示微调增量低秩的数学根源,严格推导 LoRA 前向、首步梯度与 alpha/r 缩放,并手算 3x3 验证。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 1 篇文章 · 返回首页
从全参数微调的显存墙出发,用 Gilbert Strang SVD 与 Eckart-Young 定理揭示微调增量低秩的数学根源,严格推导 LoRA 前向、首步梯度与 alpha/r 缩放,并手算 3x3 验证。