arXiv · AI· David Fraile Navarro, Jialei Sheng, Farah Magrabi, Enrico Coiera·· 2026-10-05AI 评分45
评测格式而非模型能力主导消费级健康 AI 的分诊失误测量
Evaluation format, not only model capability, shapes measured triage failure in consumer health AI
AI 导读
研究指出 ChatGPT Health 51.6% 的紧急分诊失误率主要源于评测协议中的强制选项等格式约束,而非模型本身缺陷。 在 17 个场景测试中,自然对话输入比强制选项框架得分高 6.4 分;但在忠实复制的 60 个场景中,自然输入配合强制分类答案的准确率高达 84.4%。 该结果表明基准测试框架具有行为活性,安全评估必须同时报告对输入措辞、输出格式及判定标准的敏感性。
来源:arXiv · AI · arxiv.org