arXiv · ML· Zizhuo Zhang, Xiong Peng, Jingwei Sun, Rong Yao, Borui Jiang, Bo Han·· 2026-10-07AI 评分31
PFaithBench:基于成对语境敏感性视角的大语言模型忠实性重思
Rethinking Faithfulness in LLMs: A Pairwise Context-Sensitive Perspective
AI 导读
提出PFaithBench基准,评估大语言模型在支持与不支持语境间切换回答与拒绝的能力。 覆盖39个模型7个系列,发现多数模型存在“过度回答”偏差,即在语境不足时仍编造答案。 忠实性训练对回答与拒绝数据的构成高度敏感,错误来源匹配会导致模型依赖数据集捷径。
来源:arXiv · ML · arxiv.org