跳到正文
arXiv · NLP· Fiorenzo Parascandolo, Wenhui Tan, Enver Sangineto, Xiaoyi Yu, Ruihua Song, Rita Cucchiara·· 10 天前AI 评分33

BFS-PO: 用于大型推理模型的最佳优先搜索强化学习算法

BFS-PO: Best-First Search for Large Reasoning Models

AI 导读

提出一种名为 BFS-PO 的强化学习算法,用于解决大型推理模型在长思维链推理中产生的“过度思考”现象,该算法在提升模型精度的同时缩短了推理链长度。 BFS-PO 采用最佳优先搜索探索策略,将训练时生成的推理链组织为搜索树,并通过基于最大熵节点的回溯机制选择最短正确序列进行扩展。 该工作已被 NeurIPS 2026 接收,证明了在多个基准测试和基础 LRM 上可同时实现精度提升与答案简洁化。

来源:arXiv · NLP · arxiv.org