arXiv · ML· Xianwei Chen, Shimin Zhang, Jibin Wu·· 2026-10-14AI 评分22
f-OPD:通过新鲜度感知控制稳定长周期在线策略蒸馏
$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control
AI 导读
f-OPD框架通过样本级新鲜度分数自适应调节陈旧样本影响,在保持异步执行吞吐量优势的同时,实现了与同步优化相当的推理、工具使用及编码智能体任务性能。 该方法理论上将目标差异分解为 rollout 漂移和 supervision 漂移,旨在解决异步训练与理想在线策略目标间的张力,建立性能与效率的权衡方案,为大规模长周期智能体后训练铺路。
来源:arXiv · ML · arxiv.org