跳到正文
arXiv · NLP· Yihan Hank Tang (University of Pennsylvania), Peng Yang (The University of Texas MD Anderson Cancer Center), Jiayi Xin (University of Pennsylvania), Tianqi Shang (University of Pennsylvania), Xuyang Chen (University of Pennsylvania), Ying Yuan (The University of Texas MD Anderson Cancer Center), Yi Lian (University of Pennsylvania), Qi Long (University of Pennsylvania)·· 10 天前AI 评分33

TrialDesignBench 评测 LLM 的 I 期试验设计能力

TrialDesignBench: Benchmarking Language Models for Phase-I Trial Design Against Clinical Knowledge

AI 导读

TrialDesignBench 包含 617 个 I/I-II 期肿瘤剂量探索试验,评测显示 5 个前沿 LLM 均未达到专家参考标准。 消融实验显示,提供未记录的潜在设计决定因素可使类平衡准确率提升 0.22,结构化决策树推理提升 0.24。 该基准为 AI 辅助试验设计提供了符合最新 FDA 监管标准(如 Project Optimus)的可复现评估目标。

来源:arXiv · NLP · arxiv.org