arXiv · ML· Ryan Swift, Konstantinos Psounis·· 2026-10-09AI 评分21
KDFP 方法提出
KDFP: A first-principles approach to knowledge distillation in large language models
AI 导读
KDFP 是一项新的白盒知识蒸馏方法论,用于在大型语言模型中提取通用知识。 在 9 个基准测试中,该方法性能提升 1.6% - 4.9%,同时训练效率最高提升 99.1%。 KDFP 有助于开发可在边缘设备部署的高效、隐私系统。
来源:arXiv · ML · arxiv.org