跳到正文
arXiv · AI· Xiang Li, Pengcheng Wang, Azam Ikram, Saurabh Bagchi·· 10 天前AI 评分24

LoRazor:通过裁剪适配器执行实现高效多 LoRA 服务

LoRazor: Trimming Adapter Execution for Efficient Multi-LoRA Serving

AI 导读

LoRazor 提出结合早期释放适配器与感知活跃行的 GPU 内核,在两个骨干模型和四项任务上将请求吞吐量提升最高 3.02 倍。 其机制是动态调整 LoRA 内核启动以修剪空闲 GPU 块,同时将平均相对任务准确率降低控制在 2.89% 以内。

来源:arXiv · AI · arxiv.org