跳到正文
arXiv · NLP· Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi, Ping Wang·· 21 天前AI 评分34

STRATA 与 ART:基于证据的时间临床假设显著性测试基准

Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses

AI 导读

研究提出 STRATA 基准和 ART 范式,针对 8,735 个疫苗不良事件临床时间线假设进行全流程评估。ART 将决策过程转化为可检查输出,31B 开源模型性能提升显著,缩小了与前沿模型的差距。 该基准包含黄金计划、证据集、p 值和判决,由确定性 oracle 复现。实验表明系统主要在记录选择上失败,准确率掩盖了证据差距。

来源:arXiv · NLP · arxiv.org