arXiv · AI· Nikolaos Gkalelis, Vasileios Mezaris·· 6 小时前AI 评分26
LLaVA-CKD：面向视觉语言模型的自底向上级联知识蒸馏框架
LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models
AI 导读
针对视觉语言模型部署中算力与内存瓶颈，提出自底向上级联知识蒸馏框架，通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型，并在七个标准 VQA 基准上评估，展现出与近期紧凑视觉语言模型相竞争的推理性能，源码及训练模型已公开。
来源：arXiv · AI · arxiv.org