LLM Agent技能内化度评估新方法发布

2026年10月26日，arXiv发布一项关于LLM Agent技能内化度评估的研究。该研究指出传统基于增益的技能退役规则存在缺陷，会误删超过半数未覆盖技能，因此提出了一种结合另一模型增益判断的无辅助得分评估方法。 在SkillsBench基准测试中，新方法的交叉任务一致性系数达到0.42，显著优于传统方法的0.23。测试还表明，使用该方法退役无辅助技能未造成可检测的奖励损失，验证了其有效性。 研究团队同时发布了一个包含1251项技能、任务及四项模型评分的数据集。该数据集支持按模型独立读取内化判断，为后续研究提供了数据支持。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。