arXiv · AI· Yuancheng Wei, Haojie Zhang, Linli Yao, Lei Li, Jiali Chen, Tao Huang, Yiting Lu, Duojun Huang, Xin Li, Zhao Zhong·· 17 天前AI 评分31
DiffCap-Bench:面向图像差异描述的综合性基准
DiffCap-Bench: A Comprehensive, Challenging, Robust Benchmark for Image Difference Captioning
AI 导读
DiffCap-Bench 发布覆盖十类差异的图像差异描述基准,引入 LLM-as-a-Judge 评估协议以精准捕捉语义一致性并惩罚幻觉。 该基准通过人类验证的差异列表(Difference Lists)对最新多模态大模型进行评估,揭示了专有模型与开源模型间的性能差距及模型扩展的局限性。
来源:arXiv · AI · arxiv.org