On-policy power distillation（OPPD）让模型用一次生成逼近经过锐化的整段答案分布。
OPPD 把昂贵的答案搜索蒸馏进一次生成
2026-10-06前沿观察TRIAL
On-policy power distillation（OPPD）让模型用一次生成逼近经过锐化的整段答案分布。冻结的教师模型为序贯蒙特卡洛产生的候选答案加权，再用这些权重训练学生，不需要参考答案。作者报告相对基础 checkpoint 在 MATH-500 上最高提升 23 点、GSM8K 上提升 27.3 点，并在相同预算下超过 GRPO。代码已公开。
对你意味着什么
对做后训练的团队来说，OPPD 可能把推理时的多候选搜索成本前移到训练阶段，并能与基于可验证奖励的强化学习叠加。关键疑问是：换模型 checkpoint、按完整算力记账后，收益是否还在。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 方法 | 序贯蒙特卡洛产生候选；冻结教师的 power distribution 为最大似然更新加权 |
|---|---|
| 报告提升 | 相对未训练模型，MATH-500 最高 +23.0，GSM8K 最高 +27.3 |
| 对比 | 一次生成比公开的 64 候选 power sampling 高 2.4 和 3.5 点；在三个数学 benchmark 上超过相同预算 GRPO |
| 公开材料 | 公开代码仓库；结果为作者报告 |
技术影响 4
工程价值 3
采用信号 1
成熟度 2
验证成本 3
风险 3