arXiv · AI· Dayam Nadeem, Safdar Mustafa, Ameen Ur Rehman, Shahab Saquib Sohail, Mohammad Nadeem, Usman Naseem·· 8 小时前AI 评分25
五大开源LLM在伊斯兰圣训精确回忆任务中无一通过双语基准测试
They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs
AI 导读
针对五款开源语言模型的双语圣训回忆基准测试显示，30,000次响应中无一同时具备高词法与语义保真度，未实现精确匹配。 测试涵盖六大逊尼派圣训集，模型在无检索增强下仅凭参数记忆生成文本，阿拉伯语表现普遍劣于英语。 研究结论指出，未使用检索增强的开源LLM无法作为可靠宗教文本来源，伊斯兰学术部署应强制采用基于验证语料的检索增强生成。
来源：arXiv · AI · arxiv.org