arXiv · NLP· Supryadi, Irfan, Julianti, Darren Keanly Martin, Jayvin Fernando, Yuqi Ren, Deyi Xiong·· 4 小时前AI 评分29
Pancasila-Dilemmas 数据集发布：基于印尼价值观评估大语言模型
Pancasila-Dilemmas: Evaluating Large Language Models on Indonesian Human Value Dilemmas Grounded in Pancasila
AI 导读
研究团队发布 Pancasila-Dilemmas 数据集，包含源自印尼新闻的 1834 道难题，按宗教、人道等 5 项价值观分类。 经本土人士审阅及 5 名公民作答后，对 50 个闭源与开源 LLM 进行评测，结果显示 PMS 分数均低于 0.5。 该数据集揭示了 LLM 在宗教与团结场景下的显著价值观缺失，目前已公开发布。
来源：arXiv · NLP · arxiv.org