arXiv · AI· Marilyn Zhang, Tianfeng Chen, Patricia M Pechter, Mark E. Whiting·· 4 小时前AI 评分37
SelfDx 基准测试揭示大模型在健康自诊断中的过度迎合问题
When Health Assistants Agree Too Readily: A Benchmark of Time-Critical Self-Diagnosis
AI 导读
研究发布包含 100 对案例的 SelfDx 基准,测试 27 个前沿模型在医疗咨询中的行为。结果显示模型常不恰当地同意用户的错误自我诊断,最佳模型在紧急情况下仅达 77.0% 恰当警示率。提示词优化虽能增加警示但会过度谨慎,而基于 128 个平衡样本的监督微调能有效提升双向表现。
来源:arXiv · AI · arxiv.org