arXiv · ML· Yuxuan Wang, Guangxiang Zhao, Xinyu Tan, Yahui Han, Xinxiang Yin, Zhonghai Wu, Xiangzheng Zhang, Lin Sun, Tong Yang·· 2026-10-15AI 评分31
Selective Rank-Preserving SFT:在监督微调中选择性保留 margin 的软目标方法
Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning
AI 导读
作者提出 Selective Rank-Preserving SFT (SRP-SFT),这是一种在监督微调中通过软辅助目标保留选定非目标 token margin 关系的方法。
来源:arXiv · ML · arxiv.org