土法炼钢兴趣小组的算法知识备份

【Transformer 与注意力机制】31｜微调演进：从全参数到 LoRA

2026-04-15 | transformer | #transformer #fine-tuning #lora #peft #qlora

全参数微调的代价 → Adapter / Prefix Tuning / Prompt Tuning 的早期尝试 → LoRA 低秩分解的核心洞察 → r 与 alpha 的真实关系 → QLoRA 与 DoRA 的工程演进 → 与全参数微调的效果对比 → 灾难性遗忘与多任务部署。这一篇把「为什么不再有人对 7B 模型做全参数 SFT」讲清楚。