【强化学习与大模型后训练】10｜DPO：把 RLHF 变成一个分类损失
从 KL 正则 RLHF 目标推导 DPO，解释隐式奖励、Bradley-Terry 替换、梯度含义，以及它省掉在线 PPO 的代价。
bradley-terry 标签归档
共 2 篇文章 · 返回首页
【强化学习与大模型后训练】08｜奖励模型：偏好数据、Bradley-Terry 与奖励黑客
从成对偏好数据和 Bradley-Terry 损失解释奖励模型训练，再讨论校准、集成、过优化与奖励黑客。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。
共 2 篇文章 · 返回首页
从 KL 正则 RLHF 目标推导 DPO，解释隐式奖励、Bradley-Terry 替换、梯度含义，以及它省掉在线 PPO 的代价。
从成对偏好数据和 Bradley-Terry 损失解释奖励模型训练，再讨论校准、集成、过优化与奖励黑客。