arXiv · NLP· Aman Behera, Namit Solanki, Mehul Anand·2026-10-23 12:00· 3 小时前AI 评分33

长上下文问答中不同序列混合架构的证据位置偏差研究

Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering

AI 导读

研究显示长上下文模型在证据远离提示边界时使用效率降低。对比 Transformer、状态空间及混合 Mamba 架构，Transformer 表现出开头优势，而状态空间模型主要偏好结尾位置。架构、能力、任务及提示词共同决定了上下文的有效利用，单一序列混合器非唯一原因。

来源：arXiv · NLP · arxiv.org