第 6 节 · 本站原创中文课程 · 建议 25 分钟
06 · GRPO:奖励和优势不能含糊
学完能做:从组内相对奖励理解优势,并识别奖励退化。
从策略梯度到 PPO
REINFORCE 用回报指导动作概率,baseline 用于降低方差;Actor-Critic 学价值估计,PPO 使用概率比值与裁剪限制更新幅度。裁剪不是绝对安全保证,仍需监控策略偏移、奖励和输出行为。
用同题的一组回答作比较
GRPO 的常见形式对同一问题采样多个回答,将组内奖励中心化并按标准差归一化,得到可用于 token 更新的序列优势,从而省去单独价值模型。应说明标准差定义、零方差处理、KL 项和损失归约方式,不能只照抄一个公式。
偏差与奖励漏洞要单独检查
Dr. GRPO 等变体讨论长度归一化与奖励标准差带来的偏差;具体分母和归约按论文与代码区分。若验证器偏爱格式或冗长答案,优化就可能学会刷分。观察独立正确率、长度、KL 与失败样本,不能只看训练奖励。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。