跳到正文
arXiv · AI· Mengyu Sun, Zunlong Zhou, Ziyuan Yang, Yi Zhang·· 9 小时前AI 评分33

SkillCT: 智能体技能多维评估基准与免执行基线

SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment

AI 导读

该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。

来源:arXiv · AI · arxiv.org