arXiv · NLP· Yankai Chen, Sida Lin, Yifan Li, Hanjun Luo, Hanrong Zhang, Zhuohan Xie, Bowei He, Wei-Chieh Huang, Meng Ding, Wei Xue, Yike Guo, Philip S. Yu, Xue Liu·· 10 天前AI 评分21
RDS-MOPD:基于鲁棒优化的多教师同策略蒸馏混合调度方法
Robust Domain-Mixture Scheduling for Multi-Teacher On-Policy Distillation
AI 导读
RDS-MOPD 引入分布鲁棒优化改进多教师同策略蒸馏,解决现有方法无法保证落后领域训练质量的问题。 该方法重新设计 DRO 的噪声处理、异常值限制及最坏情况定义,确保仅当差异显著超出噪声时调整资源分配。 实验显示 RDS-MOPD 在数学推理、代码生成及指令遵循基准测试中性能优于近期竞争方法。
来源:arXiv · NLP · arxiv.org