arXiv · AI· Mingyu Chen, Zhiqing Zhong, Manyi Wang, Linxi Liang, Rouyu Chen, Pinjia He·· 2026-10-12AI 评分33
ReqClarifyBench:评估仓库级软件开发中交互式需求澄清的基准测试
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
AI 导读
研究人员推出 ReqClarifyBench,这是一个包含 341 个任务的游戏、迷你应用和 Web 开发交互式需求澄清基准测试。该基准使用 LLM 用户模拟器来评估 6 个 LLM 的澄清效果与需求文档质量。结果表明,澄清效果较强并不必然带来更高的文档质量,且性能因用户画像而异。
来源:arXiv · AI · arxiv.org