【大模型基础设施工程】09:RLHF 与对齐流水线
从 SFT、奖励模型、PPO/DPO 到 GRPO、DAPO、GSPO 与异步 RLVR 基础设施的全链路实践:拆解训推同步、权重一致性与主流框架拓扑。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 2 篇文章 · 返回首页
从 SFT、奖励模型、PPO/DPO 到 GRPO、DAPO、GSPO 与异步 RLVR 基础设施的全链路实践:拆解训推同步、权重一致性与主流框架拓扑。
围绕长 CoT RLVR 与多轮 Agentic 后训练,拆解长尾掉队气泡、HybridFlow/slime/AReaL/StreamRL/PipelineRL 异步架构、训推数值失配(DAPO/GSPO/TIS)、验证沙箱与权重热同步工程。