arXiv · ML· Byeonghu Na, Donghyeok Shin, Yeongmin Kim, Mina Kang, Il-Chul Moon·· 2026-10-07AI 评分42
WASD: 基于 Wasserstein 距离的大语言模型知识蒸馏方法
WASD: Wasserstein-based Knowledge Distillation for Large Language Models
AI 导读
提出了名为 WASD 的大语言模型知识蒸馏方法,通过结合基于 Wasserstein 距离和词嵌入构建的成本矩阵,在离散概率分布对齐中引入词元级语义信息。 该方法采用 Sinkhorn 散度确保计算可行性,并推导出可高效优化的梯度等价目标函数,无需引入额外网络。 在多个 LLM 家族和规模上的实验表明,WASD 在指令遵循、数学推理和代码生成等多样化任务上持续提升了蒸馏性能。
来源:arXiv · ML · arxiv.org