arXiv · ML· Hyunwoo Yu, Jongbeom Lee, Hyunbin Kim, Sungjun Park, Jaemin Choi, Jincheol Yang, Seunghun Moon, Bongjoon Hyun, Kyomin Sohn, Kyeongbo Kong, Suk-Ju Kang·· 4 小时前AI 评分40
OpenAttention：基于尾部分数代理的高效稀疏注意力机制
OpenAttention: One Percent Is Enough with Tail Proxies
AI 导读
OpenAttention通过“数量感知均值”代理处理未读KV缓存尾部，在Llama-3.1-8B模型上以1%的读取率保留了99%的稠密注意力精度。 该机制结合了Query-Geometry Clustering（QGC）、ErrorGate门控与top-k选择，自定义内核使解码阶段注意力计算速度比稠密注意力快10倍。
来源：arXiv · ML · arxiv.org