【强化学习与大模型后训练】06｜后训练全景：SFT → RM → RLHF → 评测
把现代后训练拆成数据、目标函数、采样、奖励和评测组成的系统流水线，说明每一阶段改变模型的哪一部分。
reward-model 标签归档
共 4 篇文章 · 返回首页
【强化学习与大模型后训练】08｜奖励模型：偏好数据、Bradley-Terry 与奖励黑客
从成对偏好数据和 Bradley-Terry 损失解释奖励模型训练，再讨论校准、集成、过优化与奖励黑客。
【强化学习与大模型后训练】09｜RLHF 全链路：用 PPO 对齐语言模型
从 SFT 初始化、奖励模型、参考策略 KL 到 PPO 更新，串起 RLHF 的四模型训练闭环，并解释稳定性与工程成本。
【大模型基础设施工程】09：RLHF 与对齐流水线
从 SFT、奖励模型到 PPO、DPO、GRPO 的完整对齐流水线工程实践，覆盖 OpenAI o1、DeepSeek-R1 等推理模型的 RL 路线与主流框架选型。