Hugging Face Blog·· 2022-10-24AI 评分34
如何使用 Hugging Face Evaluate 库评估语言模型偏差
Evaluating Language Model Bias with 🤗 Evaluate
AI 导读
Hugging Face 在其 Evaluate 库中新增了偏差指标,用于评估因果语言模型(CLM)如 GPT-2 和 BLOOM 的生成偏差。 开发者可通过预定义提示词生成文本,并利用 Toxicity、Polarity 和 Hurtfulness 三个任务进行测量。 示例显示,简单的代词差异可能导致模型补全的毒性分数不同,如女性代词补全的毒性比率高达 0.3333。
来源:Hugging Face Blog · huggingface.co