跳到正文
arXiv · AI· Alicem Koyun·· 15 天前AI 评分38

7207 项试验中的干预盲测:患者世界模型干预效度评估

Does Your Trial Simulator Know What the Drug Does? An Intervention-Blind Test of Interventional Validity on 7,207 Registered Trials

AI 导读

研究构建 9996 个审计对比,发现梯度提升模拟器干预技能为 -0.12,盲测反而提升预测准确性。前沿语言模型技能为 0.20,通过 86% 的对比臂交换验证其真实利用干预信息。基准、代码及每次调用的模型输出已发布,为高风险健康领域的世界模型提供保守评估下限。

来源:arXiv · AI · arxiv.org