arXiv · AI· Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao·· 8 小时前AI 评分21
ALMANAC: 面向智能体协作的含行为级心智模型注释的人类协作数据集
Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration
AI 导读
研究者发布 ALMANAC 数据集，构建于 Map Task 任务，包含 2,987 个协作行为及基于理论的心智模型注释。 该数据集旨在解决当前 LLM 智能体缺乏对协作过程中心智模型维持与对齐能力的问题。 通过基准测试六个 LLM，研究验证了 ALMANAC 在评估模型模拟人类协作行为及推断心智模型能力上的效用。
来源：arXiv · AI · arxiv.org