arXiv · ML· Muhammad Haseeb, Muhammad Tahir·· 2026-10-16AI 评分35
Qwen2.5-3B-Instruct 涌现式错位模型是否共享同一电路
Do Emergent Misalignment Models Share a Circuit?
AI 导读
针对 Qwen2.5-3B-Instruct 的三个 LoRA 微调变体,研究发现其涌现式错位(EM)依赖共享的注意力头组件。替换特定头部贡献后,医疗、金融及极端运动场景的自由生成 EM 率分别降至 22.9%、12.5% 和 11.1%。证据表明,代表同源性扩展至共享且具因果效应的注意力头层面。
来源:arXiv · ML · arxiv.org