跳到正文
arXiv · AI· Aizan Zafar, Sreekantam Sai Venkata, Gathik Jindal, Ritu Raj Sharma, Zishan Ahmad, Tulika Saha, Srinath Srinivasa·· 9 天前AI 评分36

TrustMod-SM:评估大语言模型社交媒体内容审核可信度的多轴基准

TrustMod-SM: A Multi-Axis Benchmark for Evaluating Trustworthiness of LLMs in Social Media Content Moderation

AI 导读

研究团队发布TrustMod-SM基准,包含约29000个实例,从五个维度评估LLM在社交媒体内容审核中的可信度。 该基准评测了16个开源权重模型(参数规模0.5B-284B)及一个闭源前沿模型,发现检测准确率较高往往伴随更大的人口统计差异。 结果显示模型规模扩大未能统一解决这些问题,没有单一模型在全部五个维度上均表现优异。

来源:arXiv · AI · arxiv.org