arXiv · NLP· Osama Shabih, Dayam Nadeem, Shahab Saquib Sohail, Mohammad Nadeem·· 2026-10-21AI 评分27
大语言模型幻觉与事实可靠性基准测试:Fluent but Fallible 研究
Fluent but Fallible: Benchmarking Hallucination and Factual Reliability in Large Language Models
AI 导读
研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。
来源:arXiv · NLP · arxiv.org