跳到正文
arXiv · NLP· Jiazheng Li, Yawei Li, Junru Lu, Zhenyi Shen, Di Yin, Lin Gui, Xing Sun, David R\"ugamer, Xinpeng Wang, Yulan He·· 2026-10-14AI 评分48

VRSD:一种结合口头正则化的自蒸馏方法

Self-Distillation with Verbal Regularization

AI 导读

VRSD 通过系统提示词调控教师模型使用特权信息的方式,在 12 个模型任务组合中的 11 个场景下提升了 Pass@1 性能。 平均提升 3.9 个百分点,同时一般性保持更高的 token 熵,避免了对捷径推理的过度依赖。 理论上,该方法将提示建模为减弱特权信息对教师分布的影响,并推导了熵保留的条件。

来源:arXiv · NLP · arxiv.org