DAMI方法提升线性注意力模型长上下文检索
热点事件持续更新
DAMI方法提升线性注意力模型长上下文检索
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年11月，研究者提出名为DAMI的双轴记忆初始化方法。该方法在GDN、KDA等模型上通过联合配置Gate参数，提升Gated Linear Attention的长上下文检索性能。在多项基准测试中，RULER风格检索准确率较随机初始化基线显著提升，且未增加额外可训练参数。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
DAMI：双轴记忆初始化增强 Gated Linear Attention 的长上下文检索报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · AIDAMI：双轴记忆初始化增强 Gated Linear Attention 的长上下文检索
DAMI 方法通过联合配置 Gate 参数 A_log 和 dt_bias 提升 Gated Linear Attention 长上下文检索性能。 在 GDN、KDA、Mamba-2 及 RWKV-7 模型上，该方法使 RULER 风格检索准确率较随机初始化基线提升 5.29 至 16.71 个百分点。 该方法未增加可训练参数，且语言建模、常识推理及 2K 现实检索性能与基线保持可比。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。