跳到正文
arXiv · AI· Tao Hu, Da-Wei Zhou·· 6 小时前AI 评分26

DRAPE 提出跨模态动态提示生成以优化多模态持续指令微调

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

AI 导读

DRAPE 框架通过跨模态动态提示生成,在多模态持续指令微调中实现无任务标签的生成器选择与跨模态提示合成。 该方法利用空域梯度投影和基于 CLIP 的原型路由缓解遗忘,在 MCIT 基准上取得超越代表性基线的 SOTA 性能。 代码已开放获取,该工作被 NeurIPS 2026 接收。

来源:arXiv · AI · arxiv.org