跳到正文
arXiv · AI· Musfiqur Rahman, Mahi Begoug, Emad Shihab·· 2 天前AI 评分28

测量选择如何决定 AI 编码 Agent 代码生存率的结论

Revisiting the Survival of Agent-Attributed Code: How Measurement Choices Decide the Verdict

AI 导读

在 854,139 行代码和 2,802 个合并 PR 中,9 种测量选择决定了 88 项生存分析的结论。 对于 GitHub Copilot,测量选择改变效应大小但不改变方向;对于 Devin,测量选择直接决定结论。 LLM 意图分类器与人工标签的一致性优于关键词规则(kappa 值 0.69-0.72 对比 0.38)。

来源:arXiv · AI · arxiv.org