arXiv · AI· Haichen Hu, Yuheng Zhang, David Simchi-Levi·· 9 小时前AI 评分29
IterCaL：在无目标域奖励反馈下通过迭代校准学习缓解 LLM 蒸馏中的教师偏差
Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
AI 导读
该研究提出 IterCaL 算法，解决 LLM 蒸馏在协变量偏移且无目标奖励反馈时传播教师偏差的问题。 方法通过源奖励教师校准与学生目标提示学习交替进行，证明了向 oracle student 收敛的多项式收敛性。 即便教师强于所有学生，正则化直接教师匹配仍保持正的 oracle-KL 误差，而 IterCaL 仅用源奖励即可收敛。
来源：arXiv · AI · arxiv.org