arXiv · NLP· Wenchang Wang, Yue Song·· 17 天前AI 评分41
当文本沉默:证据不足时 LLM 标注的“记忆捷径”与有效性
When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency
AI 导读
研究表明,LLM 在证据缺失时会依赖预存知识,即“记忆捷径”,而非文本证据。在 995 位公众人物的测试中,知名姓名使某模型的记忆标签率比合成姓名高 17.0、14.9 和 6.8 个百分点,且 98.6% 的标签事实正确但缺乏文本支持。
来源:arXiv · NLP · arxiv.org