跳到正文
arXiv · NLP· Yuqin Dai, Zhanwei Zhang, Honghui Yang, Zhouheng Yao, Yueqi Zhang, Jingyu He, Chaoyang Shi, Fanding Wei, Boyuan Pan, Kai Xu, Yao Hu, Yongliang Shen·· 15 天前AI 评分23

CARTBench:针对复杂模糊购物咨询的时间线评分基准

CARTBench: Rubric-Based Evaluation of Shopping Advice for Complex and Ambiguous Requests with Timelines

AI 导读

研究团队提出CARTBench基准,包含17个零售领域1603条产品记录和1328项专家标注标准,涵盖核心、卓越与安全维度。 测试显示10个模型中仅3个在核心任务超90%,无一在卓越任务超45%,揭示理解到执行的差距。

来源:arXiv · NLP · arxiv.org