arXiv · NLP· Anglin Cai, Zhiqi Wang, Xiaozhi Yang, Yurun Lin, Dongwon Lee, Yuchen Yang·· 8 小时前AI 评分38
JUPE 基准揭示多模态裁判易受“似是而非”解释误导
A Plausible Explanation Is Enough to Mislead Multimodal Judges
AI 导读
新基准 JUPE 显示，普通看似合理的解释会误导 14 个多模态裁判模型，其误导性平均与刻意说服性论据相当。 具体地，简单辩解和思维链理由分别使错误答案被拒绝的概率降低 12.7 和 13.8 个百分点，这种现象被称为“可信度捕获”。 使用信号检测理论分析发现，判定标准均值向接受方向显著移动，而判别力均值变化不大；现有缓解措施保护效果有限且依赖模型。
来源：arXiv · NLP · arxiv.org