arXiv · ML· Jianbin Zhang, Xin Sun, Shanwen Wang, Wei Ye, Susanto Rahardja·· 2026-10-06AI 评分35
KVE-KD:面向视觉语言模型的关键视觉证据引导知识蒸馏
KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models
AI 导读
研究提出 KVE-KD 框架,通过教师模型动态聚焦任务相关视觉 token,解决静态 token 选择混淆关键线索与背景噪声的问题。该方法以预生成文本 token 为语义锚点,通过迭代移除视觉 token 贡献定位跨模态融合层,并利用归一化熵筛选关键视觉证据。实验显示 KVE-KD 在六个基准上超越 SOTA 方法,在复杂推理任务上提升显著,且不增加推理时延。
来源:arXiv · ML · arxiv.org