arXiv · ML· Zongpu Zhang, Yishu Yin, Xuehai Qian·· 8 小时前AI 评分20
LayerLoom 通过层粒度 LoRA 协同调度提升推理与微调效率
Inference First, Training Underneath: Layer-Granular LoRA Co-Serving with LayerLoom
AI 导读
LayerLoom 提出一种层粒度 LoRA 协同服务机制，在 RTX 4090 上使 Llama-3.1-8B 的联合 SLO 达成率提升 13.5-21.8 个点，同时微调吞吐量提高最高 12%。
来源：arXiv · ML · arxiv.org