arXiv · ML· Yuxuan Liu, Haoran Li, Yuhao Zhang, Jiahe Guo, Hongyu Luo, Wenbin Hu, Huihao Jing, Kawai Chung, Junle Chen, Changxuan Fan, Qing Zong, Lingyun Xie, Yangqiu Song·· 2026-10-06AI 评分33
SkillScriptBench 评测 LLM 智能体可执行技能包的自我进化能力
SkillScriptBench: Benchmarking Self-Evolution of Executable Agent Skill Packages Beyond Markdown
AI 导读
研究人员发布 350 项任务基准 SkillScriptBench,系统评估 LLM 智能体可执行技能包在文档修复、脚本修复及行为保持方面的自我进化能力。 该基准从 3.5 万 GitHub 仓库中筛选 100 个技能包构建任务,并引入 AST-Guided Skill Revision 方法,利用抽象语法树将维护需求关联到代码位置,在故障包上使修复成功率绝对提升 21.9% 至 27.7%。
来源:arXiv · ML · arxiv.org