KiranaBench：多语言印度杂货店LLM智能体经营评估基准发布

1. 12:00
   arXiv · NLP

   KiranaBench：评估 LLM 智能体在多语言印度杂货店场景下的经营能力

   研究团队提出多智能体基准 KiranaBench，模拟印度多语言杂货店运营场景，包含经理、收银员等四个 LLM 智能体角色。 该基准支持英语、印地语和 Hinglish 交互，需求数据基于印度国家家庭消费支出调查校准。 测试显示，四款开源 LLM 中最佳模型利润仅为固定规则基线的八分之一，两款模型表现甚至低于无管理店铺，印地语和 Hinglish 下的性能显著低于英语。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。