arXiv · AI· Hyunji Alex Nam, Michael Dennis, Natasha Jaques, Minsuk Chang·· 4 小时前AI 评分34
TURTLE：用于长时程工具使用的自进化基准方法
Evolving Self-tuning Benchmarks for Long-Horizon Tool Use
AI 导读
TURTLE 提出了一种无监督环境设计方法，通过提案者、求解者和反馈生成器三个大语言模型智能体，自动生成可自调整的长时程工具使用测试套件。 实验基于 Gemma 4 31B-it 在 AppWorld、τ-Bench 和 AutomationBench 上进行，显示该方法使 AppWorld 上的困难任务占比提升了 165%，并显著增加了任务多样性。
来源：arXiv · AI · arxiv.org