arXiv · ML· Jianzhu Bao, Jia-Chen Gu, Qingyuan Liu, Haozhen Zhang, Kai-Wei Chang, Nanyun Peng, Wenya Wang·· 2026-10-14AI 评分23
监督微调的几何校准:SPACE 方法提升领域内与领域外性能
Geometric Calibration of Supervised Fine-Tuning
AI 导读
研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。
来源:arXiv · ML · arxiv.org