arXiv · NLP· Jiwon Jeong, Anjelo Jann Laroza, Chaewoon Yoon, Arjun Pillai, Pranav Kokati, Christian Hoang, Seunghyeok Hong·· 4 小时前AI 评分33
语言混淆现象研究：不同模型族中单个注意力头的作用
One Head Away from Language Confusion: Single Attention Heads Across Model Families
AI 导读
研究通过消融12个模型检查点的单个注意力头发现，其中7个头能引导8.0%至51.5%的FLORES续写偏离提示词语言，远超同层其他头的1.4%上限。 在5个模型中，将特定注意力头的输出替换为其他语言的均值，可使84%至99%的非英语LCB回复重定向至该语言，该结果已公开。
来源：arXiv · NLP · arxiv.org