arXiv · NLP· Jaewon Sok, Jewon Yeom, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim·· 8 小时前AI 评分35
First-Token Cueing 揭示 LLM 首个 token 记忆失效的探测方法
On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs
AI 导读
研究发现 LLM 闭卷事实性错误主要源于首个 token 的回忆失效，而非知识缺失。 First-Token Cueing 通过预填正确答案的首个 token 作为行为探针，证实模型在首个 answer token 处不确定性峰值最高。 在 16 个开源模型的多语言英语问答及 7 种语言基准测试中，单个 token 提示修正了 1/5 至 1/2 的错误，并提升了所有语言的准确率。
来源：arXiv · NLP · arxiv.org