arXiv · AI· Qingyuan Zheng, Zhihao Dou·· 13 小时前AI 评分28
Shuffled OPSD：语义一致性会损害 On-Policy 自蒸馏吗？
Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?
AI 导读
提出 Shuffled OPSD 方法，在三个数学推理基准和 Qwen3 模型上，打乱共享题干词序可提升平均准确率。 最大提升 3.52 个百分点（Qwen3-1.7B），打乱教师端示例反而降低准确率。 结果挑战语义连贯性对 OPSD 的普适益处。
来源：arXiv · AI · arxiv.org