arXiv · NLP· Ayana Niwa, Miyu Yamada, Kouta Nakayama, Masahiro Kaneko, Hisami Suzuki, Satoshi Sekine·· 3 小时前AI 评分26
重新思考 LLM 事实核查器的评估：引入 JSFactCheckBench
Rethinking the Evaluation of LLM Fact-Checkers
AI 导读
作者提出日语基准 JSFactCheckBench，该基准包含 1913 个源自社交媒体 LLM 回答的论断，明确定义了问题相关性、判断条件和证据来源。在六个 LLM 的测试中，所有模型直接回答问题的论断准确率均低于补充论断，这种差距常被总分掩盖。
来源：arXiv · NLP · arxiv.org