arXiv · AI· Yinuo Liu·· 16 天前AI 评分41
长度廉价而竞争昂贵:注意力预测检索中的上下文腐蚀
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
AI 导读
研究表明,在检索任务中,导致大语言模型失败的并非输入长度本身,而是证据间的竞争。在中性填充内容下,Qwen2.5-1.5B 等模型在 32K tokens 上下文中准确率维持 0.97 至 1.00。
来源:arXiv · AI · arxiv.org