跳到正文
arXiv · AI· Penghui Qi, Zichen Liu, Tianyu Pang, Chao Du, Wee Sun Lee, Min Lin·· 4 小时前AI 评分23

AnytimeReasoner 框架优化任意时刻推理性能

Optimizing Anytime Reasoning via Budget Relative Policy Optimization

AI 导读

AnytimeReasoner 框架通过截断思维过程并生成摘要来引入可验证密集奖励,优化任意 token 预算下的推理效率。 该方法解耦优化思维与摘要策略,并引入 Budget Relative Policy Optimization (BRPO) 技术以增强强化学习鲁棒性。 在数学推理任务中,该框架在所有思维预算下均优于 GRPO,显著提升训练与 token 效率。

来源:arXiv · AI · arxiv.org