arXiv · NLP· Yuxuan Liu·· 8 小时前AI 评分31
首次通过注意力(First Passage Attention)通过路径极值实现选择性遗忘
First Passage Attention
AI 导读
提出首次通过注意力(FPA)机制,利用路径极值替代求和衰减,在常维头部即可实现任意键子集的选择性保留。 FPA 在 1.1 亿参数模型中与 FoX 困惑度持平,且仅在 KV 缓存压缩至 25% 时实现完美 passkey 检索。 FPA 扩展了 Forgetting Transformer 的特殊案例,解决了单调累加无法保留旧结构的局限。
来源:arXiv · NLP · arxiv.org