研究团队发布INTRA交错非连续Token稀疏注意力方法论文

研究人员Yuxuan Xia等人发布论文，提出名为INTRA的静态稀疏注意力方法。该方法属于硬件感知设计，基于中继通信视图和计算查询集约束，旨在通过互补稀疏组在层间提供短介导通信路径。论文同时指出相关代码已开放获取。 性能测试表明，在A100硬件上，INTRA在FLUX.1-dev生成任务中实现1.53倍加速，且结合LoRA自蒸馏后图像质量优于CLEAR配置。在LLaMA-3.1-8B长上下文预填充中，该方法较MoBA和NSA分别实现8.4倍和10.4倍加速。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。