arXiv · NLP· Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai, Xing He, Aiqian Li, Fengchi Yuan, Aochuan Chen, Chenyi Zi, Yuhan Li, Hongchuan Zeng, Yimo Yan, Nuo Chen, Jie Fu, Zuo-Jun Max Shen, Yong-Hong KUO, Jia Li·· 3 小时前AI 评分30
OR-License:评估 LLM 智能体作为现实世界运筹学从业者
OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
AI 导读
研究团队发布 OR-License 基准,包含 10 个工业场景的 31 个实例,源自总价值 368 万美元的付费运筹学委托项目。 基准引入 ORSim 客户端模拟器及部署调整质量(DAQ)指标,11 款前沿 LLM 中最高配置的 Claude Code 实现 88.39% 严格可行性与 0.87 DAQ。
来源:arXiv · NLP · arxiv.org