跳到正文
arXiv · NLP· Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Sunjae Kwon, Hamed Zamani, Hong Yu·· 2 天前AI 评分22

RICE-PO:将检索交互转化为推理智能体的信用信号

RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents

AI 导读

研究团队提出无评论家(critic-free)策略优化框架 RICE-PO,用于训练基于推理的检索智能体。 该框架通过选择高不确定性可执行动作作为锚点,利用检索指标评估局部反事实分支,仅当推理对动作影响显著且未来残差效应稳定时,才将信用传播至潜在推理步骤。 实验显示,在 BRIGHT 和 BEIR 基准上,RICE-PO 在同一检索器设置下持续优于基于提示的智能体和基于群体的强化学习基线。

来源:arXiv · NLP · arxiv.org