arXiv · NLP· Bhuvan Arora, Ankita Karmakar, Chaitanya Jain, Dilesh Churiwal, Harshit Jain, Shivansh Manish Dubey, Manish Prasad, Raja Piyush, Kshitij Tayal, Dhruv Kumar, Jagat Sesh Challa, Raunak Manekar, Yash Sinha·· 8 小时前AI 评分36
KiranaBench：评估 LLM 智能体在多语言印度杂货店场景下的经营能力
KiranaBench: Can a Language Model Run a Neighbourhood Shop?
AI 导读
研究团队提出多智能体基准 KiranaBench，模拟印度多语言杂货店运营场景，包含经理、收银员等四个 LLM 智能体角色。 该基准支持英语、印地语和 Hinglish 交互，需求数据基于印度国家家庭消费支出调查校准。 测试显示，四款开源 LLM 中最佳模型利润仅为固定规则基线的八分之一，两款模型表现甚至低于无管理店铺，印地语和 Hinglish 下的性能显著低于英语。
来源：arXiv · NLP · arxiv.org