第 6 节 · 本站原创中文课程 · 建议 25 分钟

06 · GRPO:奖励和优势不能含糊

学完能做:从组内相对奖励理解优势,并识别奖励退化。

从策略梯度到 PPO

REINFORCE 用回报指导动作概率,baseline 用于降低方差;Actor-Critic 学价值估计,PPO 使用概率比值与裁剪限制更新幅度。裁剪不是绝对安全保证,仍需监控策略偏移、奖励和输出行为。

用同题的一组回答作比较

GRPO 的常见形式对同一问题采样多个回答,将组内奖励中心化并按标准差归一化,得到可用于 token 更新的序列优势,从而省去单独价值模型。应说明标准差定义、零方差处理、KL 项和损失归约方式,不能只照抄一个公式。

偏差与奖励漏洞要单独检查

Dr. GRPO 等变体讨论长度归一化与奖励标准差带来的偏差;具体分母和归约按论文与代码区分。若验证器偏爱格式或冗长答案,优化就可能学会刷分。观察独立正确率、长度、KL 与失败样本,不能只看训练奖励。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

用奖励 [0,0,1,1] 计算均值与总体标准差下的标准化优势。再为 [1,1,1,1] 设计零方差处理,说明会记录哪些指标。

48 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

此题明确使用总体标准差;实际框架可能使用其他约定。

查看参考思路(本站预写,非实时 Agent)

均值 0.5,标准差 0.5,优势为 [-1,-1,1,1]。全相同奖励时可将奖励优势置零并记录零方差组,KL 等其他损失仍按实现处理,不能宣称整组训练必然无梯度。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

训练奖励升高但独立正确率下降,应怎样处理?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:05 · On-policy 蒸馏:在学生轨迹上教