跳到正文
arXiv · NLP· Yankai Chen, Sida Lin, Yifan Li, Hanjun Luo, Hanrong Zhang, Zhuohan Xie, Bowei He, Wei-Chieh Huang, Meng Ding, Wei Xue, Yike Guo, Philip S. Yu, Xue Liu·· 10 天前AI 评分21

RDS-MOPD:基于鲁棒优化的多教师同策略蒸馏混合调度方法

Robust Domain-Mixture Scheduling for Multi-Teacher On-Policy Distillation

AI 导读

RDS-MOPD 引入分布鲁棒优化改进多教师同策略蒸馏,解决现有方法无法保证落后领域训练质量的问题。 该方法重新设计 DRO 的噪声处理、异常值限制及最坏情况定义,确保仅当差异显著超出噪声时调整资源分配。 实验显示 RDS-MOPD 在数学推理、代码生成及指令遵循基准测试中性能优于近期竞争方法。

来源:arXiv · NLP · arxiv.org