arXiv · AI· Chris Zhu, Sasha Cui, Will Sanok Dufallo, Runzhi Jin, Zhen Xu, Linjun Zhang, Daylian M. Cain·· 3 天前AI 评分30
PieArena:面向真实谈判场景的语言智能体排名与画像
PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios
AI 导读
提出谈判基准 PieArena,评估 LLM 在现实商业任务中的战略推理与心智理论能力。基准基于精英商学院课程场景,通过镜像、交叉及人机配对制度进行测试,并开发连续收益排名模型生成序不变且带不确定性量化的排行榜。研究发现共享意向性脚手架对中低层 LLM 提升显著,而前沿 LLM 收益递减;代表性前沿语言智能体的表现达到或超过经过培训的商业学校学生基准。
来源:arXiv · AI · arxiv.org