arXiv · ML· Bin Ma, Min Yu, Vijay Kodamalla, Jialin Liu, Dong Li·· 9 小时前AI 评分25
Difflet：面向 AWS Trainium 扩散 Transformer 模型的快速推理引擎
DIFFLET: A Fast Inference Engine for Diffusion Transformer Models on AWS Trainium
AI 导读
Difflet 引擎在 AWS Trainium2 上实现统一编译后端，五类模型共享该后端，并通过按注意力头分发核心资源及动态缓存机制优化推理。 该引擎使用探针程序计算缓存信号，融合注意力机制使去噪步骤速度提升 1.2-4.3 倍，常驻服务比独立运行快 1.5-3.4 倍，且在 32.8k 视觉 token 规模下是唯一可编译的注意力方案。
来源：arXiv · ML · arxiv.org