arXiv · NLP· Guangya Hao, Hanxue Liang, Yitong Shang, Yunbo Long, Zhuokai Zhao·· 2026-10-14AI 评分35
SPD 自策略蒸馏实现跨域泛化与性能提升
Self-Policy Distillation via Capability-Selective Subspace Projection
AI 导读
提出自策略蒸馏(SPD)方法,利用低秩能力子空间投影解决自蒸馏信号稀释问题。 仅需各域 <5% 标记数据,在代码生成等任务上较 SOTA 自蒸馏方法提升最高 13%。 在域外泛化设置中性能提升 15.7%,验证了方法的跨域迁移能力。
来源:arXiv · NLP · arxiv.org