跳到正文
arXiv · AI· Samkit Jain, Sai Kishan Pampana, Shlok Agarwal·· 4 小时前AI 评分26

MLIPS:免训练多层索引池共享方法提升稀疏注意力效率

MLIPS: Multi-Layer Indexer Pool Sharing

AI 导读

MLIPS 提出免训练的多层索引池共享方法,通过生产者发布 Top-M 池供后续层选择,在 DeepSeek-V4-Flash 上实现 1.14-1.40 倍加速。 该方法在四个长上下文基准测试中降低 14.8-27.4% GPU 能耗,单轮运行精度变化在 -1.49 到 +0.29 百分点之间。

来源:arXiv · AI · arxiv.org