arXiv · NLP· Guanqun Jiang, Pengfei Cao, Kang Liu, Jun Zhao·· 6 小时前AI 评分24
SourceClash：语言模型程序幻觉的基准研究
When Retrieval Partially Conflicts with Skills: Understanding Procedural Hallucination in Language Models
AI 导读
研究提出 SourceClash 基准，指出在检索上下文与技能规范部分冲突时，9 个模型的合规答案率平均仅为 25.7%，显著低于支持性检索下的 78.2% 和 72.8%。 SourceClash 包含 1,271 个数据束和 6,355 个提示词，覆盖 10 个程序域；机制分析表明，在生成初期进行残差替换或干预 value 向量可提升答案有效性。
来源：arXiv · NLP · arxiv.org