跳到正文
arXiv · ML· Zhitao Chen, Zhenxin Cai, Jingyuan Li, Jin Sha·· 7 天前AI 评分30

MAST:多模态大模型中基于质心锚定子空间引导的视觉定位方法

MAST: Medoid-Anchored Subspace Steering for Visual Grounding in Multimodal LLMs

AI 导读

MAST框架针对多模态大模型(MLLM)中激活引导方法的跨任务干扰问题,提出了一种无训练、输入自适应的激活引导方案,MAST-PR版本较MAST平均提升8.09分。 该方法通过任务内多中心聚类选取质心,在推理时路由至多个质心并提取低秩局部引导方向,经跨聚类聚合生成最终引导向量。 该框架旨在解决全局激活均值落在簇间空白区域导致的性能不稳定问题。

来源:arXiv · ML · arxiv.org