跳到正文
arXiv · NLP· Yuxuan Liu·· 8 小时前AI 评分31

首次通过注意力(First Passage Attention)通过路径极值实现选择性遗忘

First Passage Attention

AI 导读

提出首次通过注意力(FPA)机制,利用路径极值替代求和衰减,在常维头部即可实现任意键子集的选择性保留。 FPA 在 1.1 亿参数模型中与 FoX 困惑度持平,且仅在 KV 缓存压缩至 25% 时实现完美 passkey 检索。 FPA 扩展了 Forgetting Transformer 的特殊案例,解决了单调累加无法保留旧结构的局限。

来源:arXiv · NLP · arxiv.org