arXiv · AI· Jhen-Ke Lin·· 11 天前AI 评分38
Build-and-Find: 一种面向智能体管理代码库的感知努力评估协议
Build-and-Find: An Effort-Aware Protocol for Evaluating Agent-Managed Codebases
AI 导读
针对智能体管理代码库场景,研究提出 Build-and-Find 协议以评估下游智能体从生成代码库中恢复设计意图的效率。 该协议将行为正确性与工件侧恢复能力解耦,报告恢复准确率、可重复性、实现覆盖率及检查努力指标。 在任务包中,多个前沿模型在意图恢复上接近饱和,但第二阶段的检查努力差异揭示了工件易读性的新比较维度。
来源:arXiv · AI · arxiv.org