arXiv · ML· Kazi Ashik Islam, Guojing Cong·· 3 天前AI 评分40
双向对数线性注意力:提升长上下文召回率的混合架构
Bilateral Log-Linear Attention
AI 导读
双向对数线性注意力通过结合正向与锚定序列起点的反向层级,在保持因果性前提下实现了对早期和近期上下文更精细的访问。 在等参数匹配的语言模型测试中,该机制将 RULER 基准下 6144 token 上下文的针在草堆任务平均得分从 26.97% 提升至 50.03%。 多查询关联召回测试中,其平均准确率由 76.37% 升至 96.12%,且优于正向对数线性注意力。
来源:arXiv · ML · arxiv.org