土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】05. 激活函数：让网络「弯下来」的非线性魔法

2026-04-15 | transformer | #transformer #激活函数 #ReLU #GELU #SwiGLU #非线性

上一篇我们论证了一件事——纯线性的网络再深，也只是一个线性变换。把 $W2(W1\mathbf{x} + \mathbf{b}1) + \mathbf{b}2$ 展开就是 $W'\mathbf{x} + \mathbf{b}'$。线性的复合还是线性，这是线性代数的铁律。