跳到正文
arXiv · ML· Yuxuan Wang, Guangxiang Zhao, Xinyu Tan, Yahui Han, Xinxiang Yin, Zhonghai Wu, Xiangzheng Zhang, Lin Sun, Tong Yang·· 2026-10-15AI 评分31

Selective Rank-Preserving SFT:在监督微调中选择性保留 margin 的软目标方法

Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning

AI 导读

作者提出 Selective Rank-Preserving SFT (SRP-SFT),这是一种在监督微调中通过软辅助目标保留选定非目标 token margin 关系的方法。

来源:arXiv · ML · arxiv.org