研究揭示长上下文模型证据位置偏差与架构影响

Aman Behera 等人发表研究论文，对比分析 Transformer、状态空间模型及混合 Mamba 架构在长上下文问答中的表现。该研究通过移动一个黄金文档与九个干扰文档的位置，考察不同架构对证据位置的偏差。结果显示，Transformer 表现出开头优势，偏好靠近提示开头的位置；而状态空间模型主要偏好结尾位置。研究表明，架构类型、模型能力、任务性质及提示词共同决定了上下文的有效利用程度，单一序列混合器并非导致偏差的唯一原因。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。