arXiv · NLP· Ava Iranmanesh, Sobhan Lotfi, Ali Iranmanesh, Liwei Jiang·· 21 天前AI 评分38
HEARSAYBENCH:AI 能否从抽象人权迈向真实生活?
HEARSAYBENCH: Can AI Navigate from Abstract Human Rights to Lived Lives?
AI 导读
研究团队推出 HEARSAYBENCH,这是一个人工撰写的基准数据集,包含 400 个经过实地验证的测试用例。 该基准基于联合国人权报告,覆盖 80 多个地区,运用阿马蒂亚·森的可行能力理论,专门评估大语言模型在结构性约束下的建议能力。 测试 14 个专有及开源权重模型发现,所有模型对用户处境的推断准确率均高于建议准确率,且强模型的推荐结果仍存在安全隐患。
来源:arXiv · NLP · arxiv.org