跳到正文
arXiv · AI· Yanze Wang, Pengfei Yao, Tianyi Sun, Hongda Chen, Yunyun Han, Jun Sun, Chuanrui Hu, Yafeng Deng·· 2 小时前AI 评分24

LLM Agent 技能内化度评估:基于无辅助得分替代增益指标

Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement

AI 导读

传统基于增益的技能退役规则误删超半数未覆盖技能,作者提出结合另一模型增益判断的无辅助得分评估方法。 在 SkillsBench 基准中,新方法的交叉任务一致性系数达 0.42,显著优于传统方法的 0.23,且退役无辅助技能未造成可检测的奖励损失。 研究发布了包含 1251 项技能、任务及四项模型评分的数据集,支持按模型独立读取内化判断。

来源:arXiv · AI · arxiv.org