跳到正文
arXiv · ML· Rodney Lafuente-Mercado, Robert Sincero, Phil Sage, Yuan Xue·· 2026-10-15AI 评分31

MA-Bench: 衡量大语言模型作战计划能力的基准

MA-Bench: Measuring Operational Planning in Language Models

AI 导读

MA-Bench 基于军事任务分析场景,包含 10 个合成文档包和 1257 项专家编写的通过/失败要求。 最优前沿模型在该基准的评分项中正确率为 62%;模型在事实陈述上得分最高(58%),在推断判断上得分最低(33%),且 60% 的失败归因于遗漏而非错误。 MA-Bench 已公开数据文档、评分规则、提示词及评分器。

来源:arXiv · ML · arxiv.org