SourceClash 基准揭示模型程序幻觉
热点事件持续更新
SourceClash 基准揭示模型程序幻觉
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
arXiv发布论文提出SourceClash基准，用于研究语言模型在程序性知识上的幻觉问题。该基准包含1,271个数据束和6,355个提示词，覆盖10个程序域，旨在测试模型在检索上下文与技能规范冲突时的表现。 研究发现，当检索上下文与规范冲突时，9个被测模型的合规答案率平均仅为25.7%，显著低于支持性检索下的78.2%和72.8%。这一差距表明模型在面对信息冲突时，难以有效区分并优先遵循规范的程序性指令。 机制分析指出，在生成初期对模型进行干预可以缓解此问题。具体手段包括进行残差替换或干预value向量，这些方法被证明能够显著提升模型在冲突情境下答案的有效性。
AI 根据报道生成 · 3 小时前更新
最新进展10月20日 12:00
SourceClash：语言模型程序幻觉的基准研究报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · NLPSourceClash：语言模型程序幻觉的基准研究
研究提出 SourceClash 基准，指出在检索上下文与技能规范部分冲突时，9 个模型的合规答案率平均仅为 25.7%，显著低于支持性检索下的 78.2% 和 72.8%。 SourceClash 包含 1,271 个数据束和 6,355 个提示词，覆盖 10 个程序域；机制分析表明，在生成初期进行残差替换或干预 value 向量可提升答案有效性。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月20日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。