arXiv · AI· Avi Gupta, Nilotpal Sinha, Vishnu Raj, Sambuddha Saha, Pratik Joshi, Koteswar Rao Jerripothula, Tammam Tillo·· 4 小时前AI 评分32
音频视觉增量学习中冻结多模态基础模型泛化框架
Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning
AI 导读
提出音频视觉类别增量学习框架，利用冻结多模态基础模型（MFM）的密集表示，通过注意力上下文引导模块以音频表征指导视觉表征，实现有效类别识别。 采用特征级与logit级知识蒸馏缓解灾难性遗忘，维持跨任务稳定性。实验表明该方案在多个音频视觉CIL基准上持续优于当前最先进方法。代码已开源。 该工作已被WACV 2027接收。
来源：arXiv · AI · arxiv.org