跳到正文
arXiv · AI· Daniel Russo·· 6 小时前AI 评分44

编码智能体对仓库依赖度高于人类,评估需以仓库为单元

For Coding Agents, the Repository Matters

AI 导读

研究表明,编码智能体提交代码的解决时间变异中,约五分之二源于仓库差异,而非智能体本身。 在280个仓库中,智能体PR的仓库间方差是人类的1.76倍。仓库慢一个标准差,智能体等待时间通常延长2.8倍。 这提示对编码智能体的监督与评估,必须以仓库而非仅智能体为分析单元。

来源:arXiv · AI · arxiv.org