Difflet引擎在AWS Trainium2上优化扩散模型推理

1. 12:00
   arXiv · ML

   Difflet：面向 AWS Trainium 扩散 Transformer 模型的快速推理引擎

   Difflet 引擎在 AWS Trainium2 上实现统一编译后端，五类模型共享该后端，并通过按注意力头分发核心资源及动态缓存机制优化推理。 该引擎使用探针程序计算缓存信号，融合注意力机制使去噪步骤速度提升 1.2-4.3 倍，常驻服务比独立运行快 1.5-3.4 倍，且在 32.8k 视觉 token 规模下是唯一可编译的注意力方案。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。