arXiv · ML· Lei Zhao, Zongheng Cao, Xinyu Hu·· 24 天前AI 评分30
细粒度信用分配在多模态智能体强化学习中的利弊:通过视频编辑探索
When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing
AI 导读
细粒度信用分配在多模态视频编辑任务中表现不一,细切任务中衰减过程奖励比结果级GRPO高45.4%。 短程任务中衰减过程奖励最多仅带来10.4%增益,且固定权重易导致工具调用冗余。 在长轨迹中密集token级监督的OPSD方法效果有限,甚至显著退化。
来源:arXiv · ML · arxiv.org