跳到正文
arXiv · ML· Kaijian Wang, Yuanyuan Xu, Fanjiang Ye, Ye Cao, Jingwei Zuo, T. S. Eugene Ng, Yarong Mu, Yuke Wang·· 7 小时前AI 评分23

AoiZora:面向视频扩散 Transformer 的编译器无关自动并行化框架

AoiZora: Compiler-Agnostic, Placement-Aware Auto-Parallelization for Video Diffusion Transformers

AI 导读

AoiZora 是一种编译器无关的自动并行化框架,通过双 IR 架构在 TPU v5e 上将 Wan 2.1 去噪延迟降低 1.23 倍。 该框架支持 TPU v5p 训练加速 1.11 至 1.21 倍,并能在 10 分钟内找到优化方案。 其核心机制允许对 GPU 上的 PyTorch 程序进行并行化,无需执行候选方案即可定价编译程序。

来源:arXiv · ML · arxiv.org