跳到正文
arXiv · NLP· Shenbin Qian, Yves Scherrer·· 10 天前AI 评分34

多语言生成中的语言默认与内容涌现:因果层映射研究

Language Defaults Before Content: A Causal Layer Map of Multilingual Generation

AI 导读

研究通过激活修补技术追踪三个不同规模 LLM 的多语言生成机制。发现中间层首先表达英语默认信号,内容信息在后续一层才因果可用,最终目标语言在更深层解析。 稀疏自编码器分析显示,中间层的语言信号在稀疏特征中表现微弱,而后续的语言区分特征虽明显但难以通过修补干预改变。

来源:arXiv · NLP · arxiv.org