arXiv · ML· Yuxuan Xia, Wenbo Lu, Shaoyi Zheng, Shengjie Wang·· 1 天前AI 评分33
INTRA: 交错非连续Token稀疏注意力机制
INTRA: Interleaved Non-contiguous Token spaRse Attention
AI 导读
提出硬件感知的静态稀疏注意力方法INTRA，基于中继通信视图和CQS约束，通过互补稀疏组在层间提供短介导通信路径。 在A100上，INTRA在2K FLUX.1-dev生成中实现1.53倍加速，且在LoRA自蒸馏后图像质量优于CLEAR配置；在LLaMA-3.1-8B上提升长上下文预填充效率，注意力基准测试中较MoBA和NSA分别实现8.4倍和10.4倍加速。
来源：arXiv · ML · arxiv.org