arXiv · ML· Shradha Agarwal, Tariq J., Deepak Rajbhar·· 23 小时前AI 评分27
大语言模型数学运算中的符号错误机制研究：定位不等于可控性
Localization Does Not Imply Steerability: A Mechanistic Study of Sign Errors in LLM Mathematics
AI 导读
大语言模型在数学运算中出现的符号错误由网络后 25% 的 MLP 层决定，且定位不必然带来可控性。 研究人员测试了 Qwen、Llama、Gemma 等 6 个开源模型，发现 Llama-3.3-70B 的干预可纠正 13/14 的错误，但 Phi-4 因冗余电路几乎无法通过相同手段翻转结果。
来源：arXiv · ML · arxiv.org