arXiv · ML· Gengsheng Li, Mao Zheng, Mingyang Song, Jie Sun, Zeyuan Liu, Ruiqi Liu, Tianyu Yang, Qiyong Zhong, Haiyun Guo, Junfeng Fang, Shiming Xiang, Jinqiao Wang, Tat-Seng Chua·· 2026-10-06AI 评分38
无数据在线策略蒸馏:没有外部数据能走多远?
Data-Free On-Policy Distillation: How Far Can We Go Without External Data?
AI 导读
研究显示在线策略蒸馏(OPD)不依赖外部训练数据,8 个真实提示即可媲美 1.7 万题训练效果。 提出的无数据 OPD(DF-OPD)在单教师与多教师设置中,分别用 64 个自生成问题和 1000 个问题实现了可比性能。 这些发现促使重新评估训练数据在在线策略蒸馏中的作用,代码已公开可用。
来源:arXiv · ML · arxiv.org