第 5 节 · 本站原创中文课程 · 建议 25 分钟

05 · On-policy 蒸馏:在学生轨迹上教

学完能做:解释轨迹来源、教师监督和 KL 方向。

软标签不只是答案

教师的 token 分布能提供候选之间的相对信息,序列级蒸馏则可使用教师生成的答案。两者的训练目标和成本不同,不能把有教师答案的数据集都称为 on-policy。

谁生成上下文

在学生自己生成的前缀上查询教师,使学习面对学生真实会到达的状态。与只使用教师轨迹相比,这有助于直接处理分布差异,但生成、教师调用和过滤仍产生费用。教师也可能错误,应保留独立评测。

把 KL 的方向写出来

KL(教师‖学生) 和 KL(学生‖教师) 的期望分布及对低概率事件的处理不同。比较方法时明确采样分布、目标函数、温度和 token 掩码;‘用了 KL’不足以复现实验。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

为一个两步数学任务设计蒸馏记录,分别写教师轨迹和学生轨迹的数据流。列出教师监督字段、KL 方向和独立测试集的隔离方式。

50 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

画出学生生成前缀→教师给监督→更新学生的三步,不把教师写好答案当成学生轨迹。

查看参考思路(本站预写,非实时 Agent)

保存学生生成的前缀、教师在该前缀上的分布及掩码。明确采用的 KL 目标和实现,测试题不进入轨迹池;记录教师调用次数与成本。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

on-policy 蒸馏里的 on-policy 主要描述什么?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:04 · 投机解码:快,同时保持分布