arXiv · AI· Zhangchi Feng, Harry Jiang, Yangyifei Luo, Ray Zhang, Richong Zhang·· 1 天前AI 评分20
DAMI：双轴记忆初始化增强 Gated Linear Attention 的长上下文检索
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
AI 导读
DAMI 方法通过联合配置 Gate 参数 A_log 和 dt_bias 提升 Gated Linear Attention 长上下文检索性能。 在 GDN、KDA、Mamba-2 及 RWKV-7 模型上，该方法使 RULER 风格检索准确率较随机初始化基线提升 5.29 至 16.71 个百分点。 该方法未增加可训练参数，且语言建模、常识推理及 2K 现实检索性能与基线保持可比。
来源：arXiv · AI · arxiv.org