arXiv · ML· Hieu Tran, Hong Yu·· 5 小时前AI 评分30
EpiLoRA：将多个 LoRA 适配器融合至低精度 GEMM 以优化服务与强化学习
EpiLoRA: Fusing Many LoRA Adapters into Low-Precision GEMMs for Serving and RL
AI 导读
EpiLoRA 插件将 LoRA 适配器融合进低精度 GEMM，在 NVIDIA Hopper 上单适配器解码时间比 vLLM 最快配置低 24%。 该技术在多租户场景下吞吐量优于 vLLM，且支持基于 FP8 权重的 LoRA 强化学习训练，使 27B 模型能在单块 48 GB GPU 上运行。
来源：arXiv · ML · arxiv.org