arXiv · ML· S. M Seefat Alam·· 2 天前AI 评分27
偏见头的非可辨识性:Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 中注意力头级偏见归因审计
What Does a Bias Head Measure? Non-Identifiability in Head-Level Bias Attribution
AI 导读
在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的审计显示,注意力头地图与标签盲响应长度地图的相关性高达 ρ = -0.950 和 -0.768,表面混淆因素显著。
来源:arXiv · ML · arxiv.org