跳到正文
arXiv · ML· Peyman Gholami, Shivam Chandhok, Saber Malekmohammadi, Shayan Shams, Robert Xiao, Leonid Sigal·· 10 天前AI 评分35

DISCOVER:面向预算受限多模态 GRPO 的在线方差引导数据发现框架

DISCOVER: Online Variance-Guided Data Discovery for Budgeted Multimodal GRPO

AI 导读

DISCOVER 提出在线数据发现框架,在严格 10% 唯一样本预算下显著提升多模态数学推理能力,表现优于随机选择、难例采样及同等训练步数的全池 GRPO 基线。 该框架将样本池组织为语义簇,查询密度多样化的代表性样本获取初始奖励,并通过近期加权滚动观察动态更新未标注样本效用估计。基于策略条件化分数(考虑奖励方差与难度)仅选取高效用提示进行标注,预算耗尽后转为基于效用的回放。

来源:arXiv · ML · arxiv.org