跳到正文
arXiv · AI· V\'ictor Rodrigo Gonz\'alez, Pablo M. Olmos, Ignacio Peis, Alejandro Lancho·· 16 小时前AI 评分21

Asuka-FM 在单张消费级 GPU 上实现文生图 DiT 模型的高效预训练

Asuka-FM: A System-Architectural Co-Design Framework for Efficient Text-to-Image Pretraining on Consumer Hardware

AI 导读

Asuka-FM 框架在单张 NVIDIA RTX 4090 上从头预训练约 2.06 亿参数的双流 DiT 模型,耗时约 160 小时,成本低于 55 美元。 系统通过 SPRINT 稀疏化减少超 50% 的注意力计算量,结合静态张量形状 RoPE 及 10M 参数像素适配头优化推理效率。 该设计无需微调即在 GenEval 达到 0.609 分,为学术研究提供了低成本的基础模型训练标准。

来源:arXiv · AI · arxiv.org