arXiv · AI· Shiye Lei, Zhihao Cheng, Dacheng Tao·· 8 小时前AI 评分30
MinPRO:通过前缀重要性比率稳定离策略 LLM 优化
Stabilizing Off-policy LLM Optimization with Prefix Importance Ratio
AI 导读
论文提出 MinPRO 目标函数以稳定离策略 LLM 强化学习后的训练。 MinPRO 利用最小 token 级比率替代不稳定的累积前缀比率,在 dense 和 MoE 模型的多项数学推理 benchmark 上显著提升了训练稳定性与峰值性能,已被 NeurIPS 2026 接收。
来源:arXiv · AI · arxiv.org