跳到正文
arXiv · AI· Dipin Khati, Shubham Mehrotra, Bin Bi, Zhou Yu, Denys Poshyvanyk, James Zhu, Sitaram Asur, Phil L. Mui·· 9 天前AI 评分20

AgentScript-Eval:针对企业 DSL 的 LLM 与 Agent 代码生成基准

AgentScript-Eval: Benchmarking LLMs and Agents for Code Generation in an Enterprise DSL

AI 导读

AgentScript-Eval 评估 5 个模型生成 Salesforce AgentScript 代码,最佳模型 pass@3 仅为 25.0%,从零编写任务得分为 0。

来源:arXiv · AI · arxiv.org