arXiv · AI· Zheng Zhang, Yifan Wu, Yuxiang Zhou, Qi Liu, Qingyang Mao, Ning Li, Weibo Gao, Qiyuan Shi, Zhenya Huang, Baosheng Yu·· 1 天前AI 评分26
ComFair：用于 LLM 交叉公平性的可配置多属性基准
Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs
AI 导读
ComFair 提出了一个可配置的多属性基准，生成 479,066 个双属性与多属性控制实例，旨在捕捉单一属性审计中不可见的交叉性伤害。 该基准在识别、选择、续写和对话任务中，将增强实例与任务等价源配对，以统一审计性能变化、新错误引入及模型排名稳定性。 在 10 个 LLM 上的实验表明，判别性任务即使总体变化微小也暴露敏感方向，生成性任务呈现更大且方向不对称的偏移，且模型排名随属性组合变化。
来源：arXiv · AI · arxiv.org