跳到正文
arXiv · NLP· Wenchang Wang, Yue Song·· 17 天前AI 评分41

当文本沉默:证据不足时 LLM 标注的“记忆捷径”与有效性

When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency

AI 导读

研究表明,LLM 在证据缺失时会依赖预存知识,即“记忆捷径”,而非文本证据。在 995 位公众人物的测试中,知名姓名使某模型的记忆标签率比合成姓名高 17.0、14.9 和 6.8 个百分点,且 98.6% 的标签事实正确但缺乏文本支持。

来源:arXiv · NLP · arxiv.org