arXiv · AI· Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Chao Zhang, Josiah Hester, Jindong Wang, Srijan Kumar·· 23 小时前AI 评分28
UniSD：面向大语言模型的统一自蒸馏框架
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
AI 导读
研究提出 UniSD 统一框架，通过整合多教师一致性、EMA 稳定化及特征匹配等机制，系统解析 LLM 自蒸馏的关键组件交互。 该框架基于 3 个模型族的 6 个基准测试，构建了结合互补组件的 UniSDfull 流水线，较基础模型性能提升 5.4 分，较最强基线提升 2.8 分。 UniSD 验证了自蒸馏是一种无需更强外部教师即可高效且可控地适应 LLM 的实用方法。
来源：arXiv · AI · arxiv.org