第 5 节 · 本站原创中文课程 · 建议 25 分钟
05 · On-policy 蒸馏:在学生轨迹上教
学完能做:解释轨迹来源、教师监督和 KL 方向。
软标签不只是答案
教师的 token 分布能提供候选之间的相对信息,序列级蒸馏则可使用教师生成的答案。两者的训练目标和成本不同,不能把有教师答案的数据集都称为 on-policy。
谁生成上下文
在学生自己生成的前缀上查询教师,使学习面对学生真实会到达的状态。与只使用教师轨迹相比,这有助于直接处理分布差异,但生成、教师调用和过滤仍产生费用。教师也可能错误,应保留独立评测。
把 KL 的方向写出来
KL(教师‖学生) 和 KL(学生‖教师) 的期望分布及对低概率事件的处理不同。比较方法时明确采样分布、目标函数、温度和 token 掩码;‘用了 KL’不足以复现实验。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。