arXiv · NLP· Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal, Sewon Min·· 2026-10-06AI 评分21
语言模型能否真正进行上下文内检索:百万 Token 规模下的检索困境与 BLOCKSEARCH 改进
Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
AI 导读
研究首次系统探索百万 Token 语料下的上下文内检索,提出 0.6B 参数 LCLM 检索器 BLOCKSEARCH,其长度泛化能力超出训练范围 10 倍。 针对注意力稀释导致的检索崩溃,引入长度感知注意力 softmax 调整和文档级稀疏注意力,使百万 Token 规模性能媲美同骨干稠密检索器。
来源:arXiv · NLP · arxiv.org