arXiv · AI· Shuyue Stella Li, Jacqueline He, Jiahui Chen, Sreya Dutta Roy, Yulia Tsvetkov, Luke Zettlemoyer, Marjan Ghazvininejad, Xiaochuang Han·· 2026-10-14AI 评分38
IsoVRBench:无需人类反馈的视频奖励建模基准
IsoVRBench: Video Reward Modeling Without Human Feedback
AI 导读
IsoVRBench 发布 8,000 对基于受控干预的视频偏好数据,覆盖八种干预类型,无需人工标注即可评估视频属性区分能力。 基准揭示 SOTA 奖励模型无法预测时序混乱缺陷,在重排帧任务中准确率仅 60.8%(人类 100%),且现有排名未预警此失败。
来源:arXiv · AI · arxiv.org