arXiv · AI· Shunchao Zhou, Chang Yang, Jingrui Wang, Shuxin Zhuang, Rundong Wang, Runsheng Yu, Xinrun Wang·· 24 天前AI 评分35
AlphaIdeaBench:在可行性约束下评测自动科研创意生成与同行评审对齐
AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment
AI 导读
提出包含100项任务的基准AlphaIdeaBench,要求科研创意生成受限于资源预算。利用Gemini 3.7 Flash作为LLM评审,在ICLR 2026等顶会600篇论文上验证其与人工评审的一致性。 评测了8种公开框架和8种主干模型,CoI-Agent表现最佳,弱主干模型如Llama 4 Scout在预算可行性上得分较低。开源任务、评分标准及分数以促进标准化评测。
来源:arXiv · AI · arxiv.org