arXiv · AI· Min-Seon Kim, Seungdong Yoa, Sanghyu Yoon, Ye Seul Sim, Suhee Yoon, Dongmin Kim, Jung-Eun Kim·· 8 小时前AI 评分26
LLM agent 蒸馏研究:何时需要监督思考过程以提升动作性能
Agents, Think Only When it Helps
AI 导读
LLM agent 蒸馏研究显示,扰动或丢弃教师轨迹中的思考内容对学生模型最终动作性能影响极小。 研究指出,仅当思考包含的动作未显式披露信息时,思考监督才发挥关键作用。这挑战了蒸馏完整教师轨迹的常规做法,证明根据信息披露情况选择性地保留思考监督可提升效率。
来源:arXiv · AI · arxiv.org