arXiv · AI· Jenny T. Liang, Mihika Bairathi, Wayne Chi, Ameet Talwalkar, Nishant Subramani, Valerie Chen·· 8 小时前AI 评分33
开发者如何编辑AI生成代码?LLM 如何推断其编辑意图?基于 53.6K 开发者编辑数据的洞察
How Do Developers Edit AI-Generated Code, and How Well Do LLMs Infer Their Edits? Insights from 53.6K Developer Edits
AI 导读
研究引入包含 53.6K 条真实 IDE 代码编辑的 DECODE 数据集,分析开发者修改 AI 生成代码的行为。 数据显示开发者投入极少修改 effort 且快速放弃代码,Frontier 模型在推断编辑意图时易过度修改或撤回人工编辑,微调 LLM 虽能提升相似度但无法完全弥补与 Frontier 模型的差距。 这些发现旨在通过研究真实代码编辑数据,促进更高效的开发者与 AI 交互。
来源:arXiv · AI · arxiv.org