跳到正文
arXiv · NLP· Hojae Han, Heeyun Jung, Jongyoon Kim, Seung-won Hwang·· 2026-10-14AI 评分33

DAVID-GRPO:资源受限下多跳推理小模型的强化学习方案

Can David Beat Goliath? On Multi-Hop Reasoning with Resource-Constrained Agents

AI 导读

DAVID-GRPO 通过专家轨迹播种和证据引导续写,解决小模型在低 rollout 数下的检索崩溃问题。 该方法在 4 块 RTX 3090 上训练 Qwen2.5-1.5B,平均 EM 达 22.6,优于同预算基线 11.9,且实现多轮检索。 代码已开源,为资源受限环境下的多跳 QA 训练提供可复现方案。

来源:arXiv · NLP · arxiv.org