arXiv · AI· Erfan Hamdi, Joel Shor, Emma Lejeune·· 3 天前AI 评分33
LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究
Scientific Coding with Large Language Models: Evidence from Finite Element Analysis
AI 导读
研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。
来源:arXiv · AI · arxiv.org