arXiv · AI· Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin·· 10 天前AI 评分30
SANEval:开放式词汇组合式评测基准与故障模式诊断
SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis
AI 导读
SANEval 是一种开放式词汇组合式评测基准,包含 6 个 SOTA T2I 模型生成的约 5250 个提示词图像对,并配有模块化评估流程。 该流程结合 LLM 提示词解析器、开放式词汇检测器及属性绑定等评分器,在 500 个人类评分验证中,SANEval 整体 Pearson 相关系数为 0.222,优于 CompBench++ 和 GenEval。
来源:arXiv · AI · arxiv.org