arXiv · ML· Shenqi Zhou (National University of Singapore, Zhejiang University), Qiran Zou (National University of Singapore), Wenhao Zhao (National University of Singapore), Zhenyu Liao (Amazon), Dianbo Liu (National University of Singapore)·· 7 小时前AI 评分57
Auto-MD-bench：评估自动研究代理在真实医疗任务中的表现
Auto-MD-bench: Evaluating Autoresearch Agents for Real-World Medical Tasks
AI 导读
研究团队提出 Auto-MD-bench 基准，包含来自10个临床数据集的15项真实医疗任务，涵盖生存分析、分类和序列预测。评测了 AIDE、AI Scientist v2、Codex 和 Autoresearch 四个代理，发现最强代理虽然主指标得分具竞争力，但风险预测校准度不如简单基线模型，且在人群偏移下性能波动大。
来源：arXiv · ML · arxiv.org