跳到正文
arXiv · NLP· Peiyu Zhang, Heng Ping, Shinibali Bhattacharyya, Anwesan Pal, Nikos Kanakaris, Kevin Cheang, Shixuan Li, Wei Yang, Paul Bogdan·· 11 天前AI 评分30

QGPM:基于查询引导的 RoPE 调制缓解长上下文 LLM 的“中间迷失”现象

Query-Guided RoPE Modulation for Lost-in-the-Middle Mitigation in Long-Context LLMs

AI 导读

研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。

来源:arXiv · NLP · arxiv.org