arXiv · ML· Thomas Walker, Richard Baraniuk·· 7 小时前AI 评分36
Scute：vLLM 之上实现 PEFT 适配器精确批处理服务
Scute: Exact Batched Serving for PEFT Adapters Beyond LoRA
AI 导读
Scute 基于 vLLM 实现 DoRA、IA3、VeRA、OFT 及 LoRA 五种 PEFT 方法的统一精确批处理服务。 通过将各方法映射至含六槽位的 LoRA 计算通式，Scute 在 Hugging Face PEFT 库基准测试中平均误差小于 1.5%。
来源：arXiv · ML · arxiv.org