arXiv · NLP· Ha Pham Thien Dinh, Ming Liu, Jiesi Guo, Matteo Vergani, Kewen Liao·· 3 天前AI 评分30
GRAFT: 跨骨干 LoRA 复用用于连续语言与多模态学习
GRAFT: Cross-Backbone LoRA Reuse for Continual Language and Multimodal Learning
AI 导读
GRAFT 框架通过特征空间线性桥接实现跨骨干 LoRA 复用,突破同架构限制。 在 Qwen2.5 到 Qwen2.5-VL 的 10 项 Super-NaturalInstructions 文本任务中,GRaft 优于随机初始化 LoRA。 这为在连续学习中复用语言与多模态模型能力提供了有效机制。
来源:arXiv · NLP · arxiv.org