mlp 标签归档

共 2 篇文章 · 返回首页

【Transformer 与注意力机制】08.5 神经网络基础：神经元、反向传播手算与 MLP 训练

2026-05-10 | transformer | #neural-network #mlp #backpropagation #gradient-descent #activation-function #numpy #pytorch #rnn

神经网络训练就是前向、损失、反向、更新四步循环。本文用一个可手算的标量网络逐步推出反向传播梯度，再推广到两层 MLP 的矩阵求导，给出 NumPy 手写与 PyTorch 对照实现和真实训练曲线，最后说明固定窗口 MLP 为什么处理不好序列、RNN 改了哪一条边。

【Transformer 与注意力机制】26｜前馈网络：那个看似平平无奇的两层 MLP，其实是「记忆」所在

2026-04-15 | transformer | #transformer #ffn #mlp #swiglu #moe

把 Transformer block 里那个看起来最不起眼的两层 MLP 真正讲清楚——4 倍扩张比的来历、逐位置而不是跨位置的设计、Geva 等人 2021 年提出的「键值记忆」视角、SwiGLU/GLU/GeGLU 的现代变体、参数量分布、可解释性研究、量化时的瓶颈，以及它和 MoE 的关系。