arXiv · NLP· Abbas Sani·· 3 天前AI 评分26
豪萨语医疗问答能力崩塌:三项小型开源模型预注册试点研究
Medical question answering collapses in Hausa: a pre-registered pilot on three small open models
AI 导读
在豪萨语医疗选择题中,三个3-4B参数开源模型准确率较英语版本下降显著,且均未超过“只选高频字母”的基线。 误差分析显示,翻译丢失的医学术语是主要缺陷来源;试图通过自生成偏好对弥补差距的干预措施因模型无法理解豪萨语推理而未能执行。
来源:arXiv · NLP · arxiv.org