arXiv · ML· Jiale Kang·· 2026-10-15AI 评分21
记忆注意力(Memory Attention):利用 Token 索引内存替代 Value 投影
Memory Attention
AI 导读
Memory Attention 提出用 Token 索引内存替代专用 Value 投影,结合上下文 Key 构建 Value。 推理阶段将归一化折叠进内存表,实现 CPU 卸载与预取,降低 GPU 参数存储。实验显示在相同训练预算下,语言建模和下游任务性能提升。
来源:arXiv · ML · arxiv.org