arXiv · NLP· Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz·· 4 小时前AI 评分32
$\Delta\tau$-Bench 评估智能体在动态工具生态中的适应与演进能力
$\Delta\tau$-Bench: Pushing Agents Toward a Moving Capability
AI 导读
$\Delta\tau$-Bench 提出了一种基于工具生态持续演变的可执行智能体基准测试，共包含 42 个领域、6 种生态状态及 1588 个多轮任务。 测试结果显示，最强模型的基准成功率仅为 42.3%，且现有技能学习方法无法维持随生态演变后的持续适配优势。 基于此，研究提出了配套生态管理器 Steward，通过增量维护与动态配置实现工作流快速恢复与更高任务成功率。
来源：arXiv · NLP · arxiv.org