跳到正文
arXiv · ML· Vincent Jung, Alba Carballo-Castro, Yiming Qin, Lonneke van der Plas, Pascal Frossard·· 2026-10-21AI 评分22

基于 FlexAttention 的高效边缘感知注意力网络用于图生成

Efficient Edge-aware Attention Network for Graph Generation

AI 导读

针对图生成模型无法利用硬件感知注意力实现且内存占用高的问题,提出一种边缘感知注意力层。 该层通过头级分数调制注入结构信息,利用 PyTorch FlexAttention 实现,将峰值 GPU 内存降低 65%,并显著提升训练与采样吞吐量。 该架构为可扩展的图基础模型提供了实践路径。

来源:arXiv · ML · arxiv.org