arXiv · AI· Javad Mohammad Alizadeh, Huanmei Wu·· 7 小时前AI 评分22
THReD 基准测试：评估 LLM Agent 及其预处理工具将电子健康记录转化为 AI 就绪数据集
Benchmark of THReD: Evaluating an LLM Agent and Its Preprocessing Tools for Turning Electronic Health Records into AI-Ready Datasets
AI 导读
THReD 基准测试显示，基于 Claude Haiku 5.5 的 Agent 在 141 项任务中首次回答完成率达 92.7%，能完全规避注入攻击并恢复故障。 测试涵盖 2,550 个回合，数据画像缺失时完成率降至 58.0%；91-92% 患者分类及 99.7-99.8% 体征标签推断正确。 代码与结果已在 Zenodo 公开，支持 5.5 百万记录处理，处理时间随数据量线性增长。
来源：arXiv · AI · arxiv.org