跳到正文
arXiv · AI· K M Sajjadul Islam, Pranav Yaramalla, Nadiyah Johnson, Mark Flower, Praveen Madiraju, Zeno Franco·· 10 天前AI 评分35

退伍军人心理健康危机严重度标注:LLM 是否比人类专家更一致?

Veterans' Mental Health Crisis Severity Annotation: Do LLMs Agree More Than Human Experts?

AI 导读

评估15个开源和10个专有LLM在退伍军人推文危机严重度标注上的一致性,LLM模型间序数一致性α达0.8336,高于人类专家的0.494。 测试8种提示变体显示专有模型与专家标注更符合且更稳定,GPT-5.6-Terra综合表现最佳,Qwen2.5-7B在识别自杀意念急性危机最强。 高一致性不必然代表符合人类判断或可靠检测罕见高危病例,LLM作为专家标注的补充需严格评估后用于高风险应用。

来源:arXiv · AI · arxiv.org