【强化学习与大模型后训练】03｜策略梯度与 REINFORCE
从期望回报出发推导策略梯度与 REINFORCE，解释 log-derivative trick、基线降方差，以及它们在语言模型后训练中的含义。
policy-gradient 标签归档
共 2 篇文章 · 返回首页
【强化学习与大模型后训练】05｜PPO 深度解剖：裁剪目标、KL 约束与实现陷阱
从信任域思想推到 PPO 裁剪目标，解释 KL 约束、完整损失和代码级实现细节，帮助读者判断一次策略更新是否安全。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。
共 2 篇文章 · 返回首页
从期望回报出发推导策略梯度与 REINFORCE，解释 log-derivative trick、基线降方差，以及它们在语言模型后训练中的含义。
从信任域思想推到 PPO 裁剪目标，解释 KL 约束、完整损失和代码级实现细节，帮助读者判断一次策略更新是否安全。