arXiv · AI· Sikai Cheng, Tinghan Ye, Arnaud Deza, Xiaonan Qi, Miao Li, Litong Liu, Changkun Guan·· 8 小时前AI 评分28
DecompGym 基准测试 LLM 智能体设计分解算法能力
DecompGym: Benchmarking LLM Agents on Designing Decomposition Algorithms
AI 导读
研究者提出 DecompGym 基准，包含 81 个实例，用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%，结果发现反思机制可将重试成功率从 39% 提升至 66%，表明智能体需要过程检查与错误定位反馈。
来源：arXiv · AI · arxiv.org