跳到正文
arXiv · NLP· Md Rayhanul Masud, S M Maksudul Alam, Mohammad Jaminur Islam·· 2026-10-15AI 评分30

BANGLAPLAN:孟加拉语约束规划与决策评测基准

BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla

AI 导读

研究团队发布包含1000道问题的评测基准BANGLAPLAN,专门用于测试LLM在孟加拉语环境下的约束规划能力。 该基准涵盖十类任务及四种语言变体,答案采用JSON格式。实验表明GPT-6.1 Sol准确率达98.7%,而多数直接回答配置低于“始终不可行”基线。 该基准为评估孟加拉语规划任务提供了可复现基础,并显示难题主要降低计划构建准确率。

来源:arXiv · NLP · arxiv.org