arXiv · ML· Sicong Liu, Fengmin Wu, Yuan Gao, Bin Guo, Zimu Zhou, Hongkai Wen, Zhiwen Yu·· 2 天前AI 评分25
AdaFlowLite:面向异步移动端多模态数据的非阻塞推理框架
AdaFlowLite: Scalable and Non-blocking Inference on Asynchronous Mobile Data
AI 导读
AdaFlowLite 通过机会性推理和分层模态亲和度矩阵,实现了异步移动端多模态数据的实时非阻塞推理,支持多种模态和下游任务而无需重新训练。 该方法采用多模态轻量级 Swin Transformer(MMLST),将推理延迟最高降低 80.4%,准确率最高提升 62.1%,能耗接近降低 50%,并可用于增强 LLM 处理异步数据的预处理性能。
来源:arXiv · ML · arxiv.org