arXiv · ML· Andrey Goncharov, Daniil Vyazhev, Simon Epanov, Alexey Zaytsev·· 2026-10-16AI 评分36
递归离线蒸馏:基于熵增益采样与答案混合的 LLM 推理链蒸馏方法
Recursive Offline Distillation via Entropy Gain Sampling and Answer Mixing
AI 导读
该论文提出一种结合熵加权采样与答案混合的递归离线蒸馏方法,用于将 70-72B 大模型的推理链蒸馏至 3-4B 小模型。 实验显示,在相同比数预算下,该方法平均性能达 57.15±1.01,显著优于朴素蒸馏的 51.61,且学习曲线更陡峭。
来源:arXiv · ML · arxiv.org