arXiv · AI· Dipin Khati, Shubham Mehrotra, Bin Bi, Zhou Yu, Denys Poshyvanyk, James Zhu, Sitaram Asur, Phil L. Mui·· 9 天前AI 评分20
AgentScript-Eval:针对企业 DSL 的 LLM 与 Agent 代码生成基准
AgentScript-Eval: Benchmarking LLMs and Agents for Code Generation in an Enterprise DSL
AI 导读
AgentScript-Eval 评估 5 个模型生成 Salesforce AgentScript 代码,最佳模型 pass@3 仅为 25.0%,从零编写任务得分为 0。
来源:arXiv · AI · arxiv.org