【Transformer 与注意力机制】08|嵌入:从 one-hot 到分布式表示
用 Gilbert Strang 列视角解释查表映射与权重绑定,推导 Word2Vec 隐式分解移位 PMI 矩阵与 SVD 截断的等价性,解析 Transformer 嵌入缩放 √d_model 与高维几何。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 1 篇文章 · 返回首页
用 Gilbert Strang 列视角解释查表映射与权重绑定,推导 Word2Vec 隐式分解移位 PMI 矩阵与 SVD 截断的等价性,解析 Transformer 嵌入缩放 √d_model 与高维几何。