跳到正文
arXiv · AI· Xupeng Chen, Chenqian Le, Jiayi Cheng, Runhao Li, Michael Yue·· 2026-10-14AI 评分26

SFT 在激活几何中留下可复现签名:校准后训练可解释性以应对运行间噪声

SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise

AI 导读

研究发现 SFT 在 Qwen3-1.7B 激活几何中留下可复现签名,位移超 17.8 个标准差,Llama-3.1-8B 亦复现。 SFT 与 DPO 在不同训练步数下占据不相交的位移范围,间隙为各自离散度的 5.0 至 5.6 倍。

来源:arXiv · AI · arxiv.org