研究发布BILAL-BENCH孟加拉语伊斯兰经典虚构基准

2026年11月2日，arXiv发布预印本论文，提出名为BILAL-BENCH的孟加拉语伊斯兰经典来源虚构基准。该基准由240道专家验证的问题组成，旨在评估开源模型在开放式回答中虚构伊斯兰经典来源的能力，填补了该特定语料库领域的测试空白。 研究团队评测了7个参数量从1B到120B的开源模型。结果显示，6个被测模型在79.3%至95.3%的来源生成问题上表现出自信虚构行为。值得注意的是，虚构错误率并未随模型参数规模提升而单调下降，表明规模扩大并未自动解决该领域的事实准确性问题。 在具体的错误类型中，圣训（Hadith）来源的追溯错误率最高。这一发现突显了当前大型语言模型在宗教经典文本溯源方面的局限性，尤其是针对非英语特定语系（如孟加拉语）的宗教文献处理方面，模型仍存在显著的事实性偏差风险。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。