【Transformer 与注意力机制】24|残差连接:为什么深层网络必须留一条直路
从 Gilbert Strang 特征值平移 (I + J_F) 出发,对比 L 层 plain 雅可比连乘与残差直路传播,推导 Pre-LN/Post-LN 流方差增长与 DeepNorm 缩放,并完成 2×2 手算与 50 层 NumPy 梯度实测。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 1 篇文章 · 返回首页
从 Gilbert Strang 特征值平移 (I + J_F) 出发,对比 L 层 plain 雅可比连乘与残差直路传播,推导 Pre-LN/Post-LN 流方差增长与 DeepNorm 缩放,并完成 2×2 手算与 50 层 NumPy 梯度实测。