跳到正文
热点事件持续更新

SHRINK方法提升视觉语言模型基准测试准确率

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Hui Zhu等研究人员提出了免训练方法SHRINK,该创新旨在解决视觉语言模型生成过程中的注意力引导问题。SHRINK的核心机制是通过部分减少生成过程中可见关键值中与“sink”对齐的分量,从而优化模型的推理性能。 在性能表现方面,该研究对九个基准测试进行了评估。结果显示,SHRINK在LLaVA-OneVision-7B和Qwen2.5-VL-3B上分别将平均准确率提升了5.1和2.7个百分点。同时,它在Qwen2.5-VL-7B和Gemma-3-4B等其他主要模型上也实现了小幅提升,证明了其跨模型的通用性。 该方法的另一重要特点是其替代性。报道指出,SHRINK能够替代现有的注意力引导方法,如GIFT和ACG的操作。这意味着SHRINK不仅提升了准确率,还简化了现有的模型干预流程,为视觉语言模型的优化提供了新的免训练路径。

AI 根据报道生成 · 10 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · AI
    视觉语言模型中基于 Sink 引导的关键编辑方法 SHRINK 提升基准准确率

    论文提出免训练方法 SHRINK,通过部分减少生成过程中可见关键值中与 sink 对齐的分量,在 9 个基准测试中提升推理准确率。 该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上平均准确率分别提升 5.1 和 2.7 个百分点,且能替代现有注意力引导方法 GIFT 和 ACG 的操作。

本事件热度走势

可比范围当前
7
可比范围峰值
911月19日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。