rlhf 标签归档 | 土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】33｜RLHF：从 PPO 到 DPO，再到 GRPO

2026-08-08 | transformer | #transformer #rlhf #ppo #dpo #grpo #reward-model #alignment

SFT 的似然目标画不出相对偏好，只能到一个由数据规模决定的天花板。RLHF 用奖励模型把偏好压成标量再接 PPO，代价是 KL 约束、采样成本和可实测的奖励黑客曲线；DPO 从同一个 KL 目标解出隐式奖励绕开在线采样，GRPO 在可验证奖励场景把 critic 也省掉。工程细节外链 rl-posttraining 系列。

【Transformer 与注意力机制】38｜GPT 系列：从续写到助手，每一代到底改变了什么

2026-08-08 | transformer | #transformer #gpt #decoder-only #in-context-learning #scaling-laws #rlhf

GPT-1 到 GPT-4 四次跃迁里，next-token prediction 这个目标函数从未换过，真正变化的是任务接口、参数规模和对齐机制。本文只用公开论文与技术报告拆解每代的改与不改，并摆开 in-context learning 机制、涌现能力是否为度量假象、能力该归因 scale、数据还是对齐这几个仍在争论的问题。

【大模型基础设施工程】09：RLHF 与对齐流水线

2026-04-22 | architecture · ai-infra | #llm #infra #rlhf #ppo #dpo #grpo #reward-model #alignment #deepseek-r1 #openai-o1 #trl #openrlhf

从 SFT、奖励模型到 PPO、DPO、GRPO 的完整对齐流水线工程实践，覆盖 OpenAI o1、DeepSeek-R1 等推理模型的 RL 路线与主流框架选型。

【强化学习与大模型后训练】09｜RLHF 全链路：用 PPO 对齐语言模型

2026-05-29 | rl-posttraining | #rlhf #ppo #reward-model #kl-penalty #gae #instructgpt #alignment

从 SFT 初始化、奖励模型、参考策略 KL 到 PPO 更新，串起 RLHF 的四模型训练闭环，并解释稳定性与工程成本。

【强化学习与大模型后训练】10｜DPO：把 RLHF 变成一个分类损失

2026-05-29 | rl-posttraining | #dpo #rlhf #preference-optimization #bradley-terry #implicit-reward #alignment

从 KL 正则 RLHF 目标推导 DPO，解释隐式奖励、Bradley-Terry 替换、梯度含义，以及它省掉在线 PPO 的代价。

【大模型基础设施工程】05：训练全景：Pre-train、SFT、RLHF、DPO、蒸馏

2026-04-22 | architecture · ai-infra | #llm #infra #training #pretrain #sft #rlhf #scaling-law #adamw #tokenizer #deepseek #chinchilla

以工程视角串联现代 LLM 的四阶段训练栈——预训练、中训、SFT 与对齐——覆盖数据、Tokenizer、优化器、精度、Scaling Law 与代表性训练框架。

【强化学习与大模型后训练】01｜系列总览：从 RL 到 LLM 后训练的地图

2026-05-29 | rl-posttraining | #rl #llm #post-training #rlhf #dpo #rlvr #reasoning #alignment #roadmap

把强化学习到大模型后训练的主线压成一张可阅读地图，区分风格对齐与能力激发，并说明 20 篇文章的依赖关系。

【强化学习与大模型后训练】02｜MDP、回报与贝尔曼方程

2026-05-29 | rl-posttraining | #rl #mdp #bellman-equation #return #value-function #advantage #language-model #rlhf

用面向语言模型的最小强化学习集合定义 MDP、回报、价值、优势和贝尔曼方程，并解释 token 级与序列级建模的差异。

【强化学习与大模型后训练】03｜策略梯度与 REINFORCE

2026-05-29 | rl-posttraining | #rl #policy-gradient #reinforce #rloo #baseline #variance-reduction #rlhf #language-model

从期望回报出发推导策略梯度与 REINFORCE，解释 log-derivative trick、基线降方差，以及它们在语言模型后训练中的含义。

【强化学习与大模型后训练】04｜Actor-Critic 与优势函数、GAE

2026-05-29 | rl-posttraining | #rl #actor-critic #gae #advantage #value-head #ppo #rlhf #temporal-difference

解释 Actor-Critic 架构、优势估计和 GAE 的偏差—方差取舍，并映射到 LLM 后训练中的 value head 与 per-token advantage。

【强化学习与大模型后训练】05｜PPO 深度解剖：裁剪目标、KL 约束与实现陷阱

2026-05-29 | rl-posttraining | #ppo #trpo #policy-gradient #gae #rlhf #kl-penalty #implementation-details #advantage-normalization

从信任域思想推到 PPO 裁剪目标，解释 KL 约束、完整损失和代码级实现细节，帮助读者判断一次策略更新是否安全。

【强化学习与大模型后训练】06｜后训练全景：SFT → RM → RLHF → 评测

2026-05-29 | rl-posttraining | #post-training #sft #reward-model #rlhf #dpo #grpo #rlvr #evaluation #data-flywheel

把现代后训练拆成数据、目标函数、采样、奖励和评测组成的系统流水线，说明每一阶段改变模型的哪一部分。

【强化学习与大模型后训练】08｜奖励模型：偏好数据、Bradley-Terry 与奖励黑客

2026-05-29 | rl-posttraining | #reward-model #preference-data #bradley-terry #rlhf #goodhart #reward-hacking #hh-rlhf #overoptimization

从成对偏好数据和 Bradley-Terry 损失解释奖励模型训练，再讨论校准、集成、过优化与奖励黑客。

【强化学习与大模型后训练】17｜RL 训练基础设施：采样-训练分离与 PPO 编排

2026-05-29 | rl-posttraining | #rlhf #ppo #rollout #vllm #sglang #fsdp #megatron #deepspeed #verl #openrlhf

从 rollout、奖励计算、价值估计到策略更新，拆解 LLM 在线 RL 的系统拓扑、资源瓶颈和同步边界。

【强化学习与大模型后训练】18｜训练稳定性：KL、熵、长度偏置与崩溃诊断

2026-05-29 | rl-posttraining | #rlhf #ppo #kl #entropy #reward-hacking #stability #diagnostics #rlhf-implementation

把 KL、奖励、熵、长度、梯度和 PPO 比率组织成训练仪表盘，定位后训练崩溃与奖励黑客。

【强化学习与大模型后训练】19｜后训练评测：对齐、推理、安全与回归

2026-05-29 | rl-posttraining | #rlhf #evaluation #llm-as-judge #mt-bench #alpacaeval #gsm8k #math #safety #regression

从偏好胜率、LLM-as-judge、推理基准、安全红队到能力回归，组织后训练模型的评测闭环。

【强化学习与大模型后训练】20｜前沿与展望：自我对弈、宪法 AI、Agentic RL、合成数据飞轮

2026-05-29 | rl-posttraining | #rlhf #rlaif #constitutional-ai #self-play #self-reward #agentic-rl #synthetic-data #rlvr #deepseek-r1

从 RLAIF、宪法 AI、自奖励、自我对弈、Agentic RL 到可验证环境，总结后训练前沿与稳定原则。

强化学习与大模型后训练

2026-05-29 | rl-posttraining | #rl #rlhf #dpo #grpo #ppo #post-training #reasoning #rlvr #alignment #llm

从 MDP、策略梯度、PPO 等强化学习最小必要集出发，系统讲清现代大模型后训练：SFT、奖励模型、RLHF，到 DPO/IPO/KTO/ORPO/SimPO 免 RL 对齐、GRPO，再到 RLVR 可验证奖励、推理模型（o1/R1 范式）、过程奖励、奖励黑客、RL 训练基础设施与评测。全 20 篇深度博客。