arXiv · AI· Konstantinos Papaioannou, Thaleia Dimitra Doudali·· 8 小时前AI 评分31
RPS-Serve：面向多模态LLM推理的模态感知调度框架
Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference
AI 导读
RPS-Serve 是一种模态感知调度框架，通过“岩石-鹅卵石-沙子”抽象解决多模态推理中的异构干扰。 该系统利用轻量级聚类将请求分类，并采用基于老化技术的优先级调度，相比分解式系统在平均性能上提高 GPU 利用率 65%，降低 TTFT 高达 9.3 倍。
来源：arXiv · AI · arxiv.org