跳到正文
arXiv · AI· Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Chen Wang, Xiaohan Wang, Wanling Xu, Jiyun Yao, Hanyong Zhong, Jiahao Zhu·· 2026-10-14AI 评分22

如何构建真正衡量品味的基准测试

How to Build a Benchmark That Actually Measures Taste

AI 导读

研究人员提出 TasteBench,一种包含视觉、品牌等四类项目的双样本对比基准,旨在区分真实的品味判断与测试作弊行为。 在 n=250 的试点测试中,发现始终选择位置 A 的策略得分为 0.956,且五个 VLM 模型在工艺领域均达到满分 1.0。 该基准指出位置偏差和文本泄露可通过工具修复,但工艺领域的难度天花板需在未来版本解决。

来源:arXiv · AI · arxiv.org