arXiv · AI· Xinhang Zhang, Boning Zhang, Chengchun Liu, Chunpu Li, Lei Sun, Weifeng Zhang, Limin Xiao·· 8 小时前AI 评分38
CHARM+：基于重合并多流机制的跨硬件注意力模型
CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism
AI 导读
CHARM+ 提出跨硬件注意力与重合并多流机制，通过重组通信并解耦跨硬件与硬件内通信，消除带宽不平衡带来的同步开销，显著提升 GPU 利用率。 在双 NUMA PCIe 和双节点 NVLink 架构上评估，前向和反向算法平均加速比分别为 1.3x/1.7x 和 2.8x/2.9x，表现优于现有最先进方法，该成果已被 NeurIPS 2026 接收。
来源：arXiv · AI · arxiv.org