arXiv · NLP· Deepali Mittal, Dheeraj Mundhra, Yulia Sidorova, Tersia de Kock, Oli Munns, Sofie S Meyer·· 3 小时前AI 评分37
SIM-UT：基于用户模拟的医疗分诊聊天机器人评估框架
SIM-UT: A User Simulation based Evaluation Framework for Medical Triage Chatbots
AI 导读
研究团队提出SIM-UT框架，通过多轮模拟对话评估医疗分诊LLM。 使用5000+多语言对话轮次，对比MedGemma与ChatGPT、Claude在印度、南非、肯尼亚的真实健康场景表现。 发现两族模型均存在“降级风险”，即用户症状减小时AI给出危险同意，建议将其作为生产部署前的标准行为评估。
来源：arXiv · NLP · arxiv.org