跳到正文
arXiv · ML· Wentao Ni, Hong Cai, Mingu Lee, Chihao Yu, Zhongming Yu, Hejia Zhang, Kangqi Zhang, Fatih Porikli, Zhijian Liu, Jishen Zhao·· 17 天前AI 评分20

TileWeave 实现移动端 SoC 上稀疏 Prefill 的异构分块

TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs

AI 导读

TileWeave 通过异构分块解决移动端 NPU 对规则大 tile 的偏好与 Block-sparse attention 不规则选择的冲突。 它将高共享 key 块分配给 NPU,低重用块由 GPU 处理特定查询,并在骁龙 SM8750/SM8850 上将全模型 prefill 速度较 XAttention 提升 1.35-3.23 倍。

来源:arXiv · ML · arxiv.org