土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】37｜BERT：MLM、NSP 与 Encoder-only 路线的代价

2026-08-08 | transformer | #transformer #bert #encoder-only #masked-language-model #roberta #nlp

BERT 的每个设计选择都有可核对的实测代价。本文钉住 BERT 这一条路线本身：80/10/10 掩码策略真正缓解了多少 pretrain-finetune mismatch、NSP 为什么被 RoBERTa 的受控实验指出可能是输入格式而非目标函数在起作用、BERT 为什么在数学上是一个可以生成文本的 Marko…