arXiv · ML· Ravenor Davion, Nick Rui·· 2026-10-07AI 评分28
特权上下文作为在线策略自蒸馏中的策略漂移
Privileged Context as Drift in On-Policy Self-Distillation
AI 导读
研究发现,在在线策略自蒸馏中,特权上下文的内容选择比来源选择对策略漂移的影响更大。 使用 Qwen2.5-7B 模型进行验证,内容变化导致的 KL 散度中位数范围是来源变化的 5.1 倍,且共享内容的参数更新余弦相似度更高(0.571 vs 0.255)。 这表明应将特权上下文视为在线策略自蒸馏稳定性设计的一部分,因为它决定了策略移动的幅度和方向。
来源:arXiv · ML · arxiv.org