arXiv · NLP· Jike Zhong, Ming Li, Yuxiang Lai, Xi Xiao, Sheng Zhang, Ritwick Chaudhry, Tianle Chen, Jingyu Xie, Zheda Mai, Shao-Yuan Lo, Konstantinos Psounis, Yuanyuan Lei·· 6 小时前AI 评分36
SPOD 解决 Agentic 蒸馏中的“教师超越”与性能回退问题
Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
AI 导读
研究提出 Success-Preserving On-Policy Distillation (SPOD) 方法，通过在 on-policy 蒸馏中保留学生智能体的成功策略，解决模型先超越教师后回退的问题。
来源：arXiv · NLP · arxiv.org