跳到正文
arXiv · ML· Muhammad Haseeb, Muhammad Tahir·· 2026-10-16AI 评分35

Qwen2.5-3B-Instruct 涌现式错位模型是否共享同一电路

Do Emergent Misalignment Models Share a Circuit?

AI 导读

针对 Qwen2.5-3B-Instruct 的三个 LoRA 微调变体,研究发现其涌现式错位(EM)依赖共享的注意力头组件。替换特定头部贡献后,医疗、金融及极端运动场景的自由生成 EM 率分别降至 22.9%、12.5% 和 11.1%。证据表明,代表同源性扩展至共享且具因果效应的注意力头层面。

来源:arXiv · ML · arxiv.org