arXiv · NLP· Matthew Flathers, Jill Noorily, Phuong Anh Nguyen, Mark Kalinich, Mina Fallah, Victoria Lisowski, Christine Shi, Rebekah M. Bodner, Anna Simms, Mihika Hete, Meiting Chen, Samuel K. Powell, Tatum Williamson, Laura Ospina-Pinillos, Haruka Notsu, Julian Herpertz, John Torous·· 10 天前AI 评分42
41 款大语言模型心理健康建议审计:同一临床信息下不同身份推荐差异显著
Curbside Chatbots: Auditing the Mental Health Interventions Large Language Models Recommend to Clinicians, Caregivers, and Patients
AI 导读
研究审计 41 款语言模型,基于 19 个案例生成 35,055 条回复,发现模型推荐与其评分高度一致。 模型推荐行为随用户身份(临床医生、看护人、患者)显著变化,且常推荐自身低分选项作为首选。 研究成果包含完整语料库与代码,作为活体审计工具发布。
来源:arXiv · NLP · arxiv.org