跳到正文
arXiv · ML· S. M Seefat Alam·· 2 天前AI 评分27

偏见头的非可辨识性:Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 中注意力头级偏见归因审计

What Does a Bias Head Measure? Non-Identifiability in Head-Level Bias Attribution

AI 导读

在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的审计显示,注意力头地图与标签盲响应长度地图的相关性高达 ρ = -0.950 和 -0.768,表面混淆因素显著。

来源:arXiv · ML · arxiv.org