跳到正文
arXiv · AI· Yinuo Liu·· 16 天前AI 评分41

长度廉价而竞争昂贵:注意力预测检索中的上下文腐蚀

Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval

AI 导读

研究表明,在检索任务中,导致大语言模型失败的并非输入长度本身,而是证据间的竞争。在中性填充内容下,Qwen2.5-1.5B 等模型在 32K tokens 上下文中准确率维持 0.97 至 1.00。

来源:arXiv · AI · arxiv.org