arXiv · ML· Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, Anisha Gunjal, Mohit Raghavendra, Lu Wang, Yunzhong He, Anas Mahmoud·· 8 小时前AI 评分25
预测 On-Policy 自蒸馏中特权信息的有效性
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
AI 导读
针对 On-Policy 自蒸馏（OPSD）训练，研究系统评估了 16 种特权信息（PI）配置在 3 个多轮智能体基准和 3 个不同规模学生模型上的效果。 研究发现，信息密集型轨迹和由更强生成器产生的 PI 通常带来更大收益，而思维模型受益一致性较低。
来源：arXiv · ML · arxiv.org