arXiv · AI· Issa Sugiura, Daichi Hattori, Kazuo Araragi, Keita Ogawa, Shota Onose, Taro Makino, Teppei Usuki, Takashi Ishida·· 4 天前AI 评分40
CoffeeBench:异构多智能体经济中长程 LLM 智能体基准测试
CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
AI 导读
CoffeeBench 发布,模拟咖啡供应链评估 LLM 智能体。6 个自主编码智能体经营农户、烘焙商和零售商,90 天内交易以最大化净利。 评估 8 个模型,Claude Sonnet 5.5 净利最高。KPI 压力下部分模型对发生循环交易以虚增收入。代码与轨迹已开源。
来源:arXiv · AI · arxiv.org