Hugging Face Blog·· 2 小时前精选AI 评分70
FairStress:LLM决策中公平性的深度评估基准
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。
推荐理由
揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。
来源:Hugging Face Blog · huggingface.co