跳到正文
arXiv · NLP· Guan Zheng Huang·· 10 天前AI 评分38

SPRING-5 发布:衡量 LLM 智能体工具文档修复效率的基准测试

SPRING-5: Measuring Tool Documentation Repair for LLM Agents by Efficiency

AI 导读

SPRING-5 基准测试通过 20 个工具家族和 344 个任务,以调用成本而非任务准确率评估 LLM 智能体工具文档修复方法。 测试显示 schema-only 方法仅填补 1% 成本差距,而一次批量重写可达 33%,给出正确性标签的变体达 58%。 代码与数据已开源。

来源:arXiv · NLP · arxiv.org