arXiv · NLP· Sabah Nushra, Md Kishor Morol·· 2 小时前AI 评分29
BILAL-BENCH：孟加拉语伊斯兰经典虚构基准测试
Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali
AI 导读
研究提出包含 240 道问题的 BILAL-BENCH 基准，评估 7 个参数量 1B 至 120B 的开源模型在孟加拉语伊斯兰经典来源虚构上的表现。 结果显示 6 个模型在 79.3% 至 95.3% 的来源生成问题上自信虚构，且未见随规模提升的单调改进，圣训来源追溯错误率最高。
来源：arXiv · NLP · arxiv.org