arXiv · AI· Inish Melroy D Souza, Tom Jackson, Vitor Castro, Rebecca Higginson, Andrea Soltoggio·· 4 天前AI 评分21
LoRAWeaver: LoRA 表示空间中的方向性适配器路由
LoRAWeaver: Directional Adapter Routing in LoRA Representation Space
AI 导读
LoRAWeaver 提出一种无训练方法,在 LoRA 适配器输出空间中通过余弦相似度匹配任务原型来选择适配器,解决了动态适配器池中的路由难题。 实验表明,该方法在 LLaMA-2-7B/13B 模型和 FLAN-v2 48 项基准测试中优于无训练基线,性能接近已训练的检索编码器。
来源:arXiv · AI · arxiv.org