跳到正文
arXiv · NLP· Daksh Raghuvanshi, Ved Vedere, Yifan Wang·· 2026-10-09AI 评分44

StoreBench: 评估和训练自主操作员智能体的实时商务环境

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

AI 导读

研究者推出实时商务基准StoreBench,用29个商户工具在模拟电商环境中评测七个前沿LLM。 七个模型均未达到脚本化策略的97%通过率,最佳者DeepSeek-V4-Pro仅49%。专家综合得分0.708高于所有模型。Qwen3.5-27B经GRPO后训练,综合分从0.136升至0.373。 该环境释放部分训练数据,完整评测集保留以防污染。

来源:arXiv · NLP · arxiv.org