arXiv · ML· Wen Ye, Ailin Deng, Zirui Wang, Shixing Yu, Han Zhang, Tian Yun, Nikhil Mehta, Tarun Kalluri, Xuefei Cao, Xuezhe Ma, Hengduo Li·· 4 小时前AI 评分33
Edit, Don't Imitate: 多模态推理的最小编辑在线策略蒸馏
Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
AI 导读
针对视觉语言模型(VLM)因误读图表导致推理失败的感知瓶颈,研究者提出最小编辑修正在线策略蒸馏方法。 该方法仅使用参考图表描述和验证过的参考解作为训练信息,教师模型对学生错误 rollout 进行打分,只有教师不喜欢的 token 才贡献到修正损失中;正确 rollout 则接受任务奖励强化学习。
来源:arXiv · ML · arxiv.org