arXiv · AI· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Xiangyu Zhou, Dongxiao Zhu·· 13 小时前AI 评分21
视觉语言模型中基于 Sink 引导的关键编辑方法 SHRINK 提升基准准确率
Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models
AI 导读
论文提出免训练方法 SHRINK,通过部分减少生成过程中可见关键值中与 sink 对齐的分量,在 9 个基准测试中提升推理准确率。 该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上平均准确率分别提升 5.1 和 2.7 个百分点,且能替代现有注意力引导方法 GIFT 和 ACG 的操作。
来源:arXiv · AI · arxiv.org