跳到正文
arXiv · AI· Jhen-Ke Lin·· 11 天前AI 评分38

Build-and-Find: 一种面向智能体管理代码库的感知努力评估协议

Build-and-Find: An Effort-Aware Protocol for Evaluating Agent-Managed Codebases

AI 导读

针对智能体管理代码库场景,研究提出 Build-and-Find 协议以评估下游智能体从生成代码库中恢复设计意图的效率。 该协议将行为正确性与工件侧恢复能力解耦,报告恢复准确率、可重复性、实现覆盖率及检查努力指标。 在任务包中,多个前沿模型在意图恢复上接近饱和,但第二阶段的检查努力差异揭示了工件易读性的新比较维度。

来源:arXiv · AI · arxiv.org