arXiv · AI· Zheng Fang, Dongming Jin, Yihong dong, Yongmin Li, Kechi Zhang, Zhi Jin, Ge Li·· 2026-10-05AI 评分37
ClarifyCodeBench:评估 LLM 在代码生成中澄清模糊需求的能力
ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation
AI 导读
研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。
来源:arXiv · AI · arxiv.org