arXiv · ML· Qinan Zhang, Xinyu Wang, Qihang Jin, Tianyuan Wang, Hongbing Luo, Pengfei Li, Wenjun Lv, Yu Kang, Jian Di·· 9 天前AI 评分33
基于状态条件不变性的可靠 VLM 评委诊断框架
Towards Reliable VLM Judges: State-Conditional Invariance and Presentation-Aware Diagnostics
AI 导读
针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。
来源:arXiv · ML · arxiv.org