gae 标签归档

共 3 篇文章 · 返回首页

【强化学习与大模型后训练】09｜RLHF 全链路：用 PPO 对齐语言模型

从 SFT 初始化、奖励模型、参考策略 KL 到 PPO 更新，串起 RLHF 的四模型训练闭环，并解释稳定性与工程成本。

解释 Actor-Critic 架构、优势估计和 GAE 的偏差—方差取舍，并映射到 LLM 后训练中的 value head 与 per-token advantage。

从信任域思想推到 PPO 裁剪目标，解释 KL 约束、完整损失和代码级实现细节，帮助读者判断一次策略更新是否安全。