arXiv · ML· Junhao Shen, Qing Zong, Yue Guo, Zhanqiu Zhang, Yiwen Guo, Hong Cheng·· 9 天前AI 评分46
MMDM: 衡量大规模多任务决策
MMDM: Measuring Massive Multitask Decision Making
AI 导读
MMDM 是包含 5,448 道题目、涵盖 16 个任务类别的大规模多任务决策基准。它支持单选、多选及软标签,选项空间 2 至 1,024,输入最长 64,817 tokens。 评估 28 个决策模型发现,多数模型在普通知识上表现良好,但在选项逻辑与约束规划上表现较差。 MMDM 为联合推理、约束感知选择及完整多选恢复等决策模型关键方向提供了测试平台。
来源:arXiv · ML · arxiv.org