arXiv · NLP· Nataliya Stepanova, Ivan Titov, Emily Allaway, Bj\"orn Ross·· 2026-10-07AI 评分27
双最小对框架:LLM 刻板印象评估新指标
The Missing Minimal Pair: Stereotype Evaluation in LLMs
AI 导读
提出双最小对框架与基于互信息(MI)的评估指标,解决单一最小对比较在 LLM 刻板印象评估中不可靠的问题。该框架通过数据增强填充现有数据集空白,应用于英语、俄语、西班牙语和中文刻板印象,并生成复述及替代属性。MI 指标更适合聚合,能实现跨不同语言和模型的刻板印象强度更稳健比较,代码已公开。
来源:arXiv · NLP · arxiv.org