LayerLoom 层粒度 LoRA 共服务机制发布

论文作者提出了 LayerLoom 层粒度 LoRA 协同服务机制，旨在解决大语言模型推理与微调在同一 GPU 上共用的效率问题。该机制利用 LoRA 允许两种负载共享单份冻结基础权重的特性，将推理突发间隙的闲置算力转化为训练进度。 在 RTX 4090 显卡运行 Llama-3.1-8B 的突发生产轨迹测试中，LayerLoom 通过将同层反向任务挂载至推理前向传播，并依据在途请求的延迟冗余限制每层运行的反向任务数量，实现了高效调度。结果显示，相比先前方法，其联合 SLO 达成率提升了 13.5 至 21.8 个点，同时微调吞吐量提高了最高 12%，且达到了相同的训练损失。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。