arXiv · AI· Mengyu Sun, Zunlong Zhou, Ziyuan Yang, Yi Zhang·· 9 小时前AI 评分33
SkillCT: 智能体技能多维评估基准与免执行基线
SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment
AI 导读
该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。
来源:arXiv · AI · arxiv.org