arXiv · AI· Yiqun T. Chen, Jan Matthias, Jianing Yao, Hongyu Eric Zhao, Stephanie C. Hicks·· 10 天前AI 评分34
将科学论文转化为AI智能体基准:空间转录组学对齐任务的审计
Publications as benchmarks: auditing AI agents on spatial transcriptomics alignment
AI 导读
该框架将科学论文转化为AI智能体基准,在121个空间转录组学对齐任务中审计了6个智能体和16种基线方法。 性能最佳的 GPT-6-Astra 和 Gemini-4-Argon 在80%的任务上匹配或超越所有基线,且智能体表现对提示词和预装软件包具有鲁棒性。 框架还发现现有评估指标中的捷径错误,并成功将智能体生成的解决方案蒸馏为排名进入前10%的专用程序。
来源:arXiv · AI · arxiv.org