arXiv · AI· Marianne Menglin Liu, Rongguang Wang, Zheng Wang, Yewen Wang, Leonid Boytsov, Tao Sheng, Sujith Ravi, Dan Roth·· 7 小时前AI 评分37
LLM 智能体能否充当前置部署工程师？面向企业 Text-to-SQL 的需求发现与交付研究
Can LLM Agents Be Forward-Deployed Engineers? Requirement Discovery and Delivery for Enterprise Text-to-SQL
AI 导读
LLM 编码智能体难以胜任企业 Text-to-SQL 的前置部署工程师角色。跨 15 个模型测试显示，最强模型仅能发现 80% 的隐藏需求，且只有 25% 的交付运行通过验收。 研究指出四个瓶颈：40% 需求缺失或误述、执行不可靠、计算预算利用不足、基准准确率不保证生产就绪。作者建议对发现的需求进行人工审查，并在执行时监控智能体计划。
来源：arXiv · AI · arxiv.org