arXiv · AI· Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas, Daniel Kurzawe·· 4 小时前AI 评分21
PILOT 框架通过特权推理探索改进多模态嵌入
Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
AI 导读
PILOT 框架通过引入先验和后验分布作为共享 MLLM 的两种推理模式，在 MMEB-V2 基准测试上超越了主要基线模型。 在 2B 和 7B 参数规模下，整体得分分别提升 3.2 和 3.3 分，其中视觉文档检索任务增益最大，分别达到 +6.1 和 +6.4 分。 研究验证了将关系监督作为引导推理探索的信号，比单纯作为事后奖励更有效。
来源：arXiv · AI · arxiv.org