跳到正文
arXiv · ML· Farrukh Rahman·· 12 小时前AI 评分28

拆解视频 VLM 时序评测中的通道使用:RoPE 与视觉序列

What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation

AI 导读

视频 VLM 时序基准分数混淆了问题是否有时序性与模型如何恢复顺序。 引入反转冲突评分,区分标签无关与确定性标签两种读数,发现 Qwen3-VL 属视觉序列主导,Molmo2 属位置主导。 证明同分模型不可互换,两者通道在相反输入上失败,对评测有效性至关重要。

来源:arXiv · ML · arxiv.org