arXiv · AI· Rui Ge, Yichao Fu, Yu-Yang Qian, Junda Su, Yiming Zhao, Hao Zhang·· 11 天前AI 评分45
Counterfactual Distillation:将反思经验内化至 LLM Agent
Counterfactual Distillation: Internalizing Reflective Experience into LLM Agent
AI 导读
Counterfactual Distillation 框架将探索经验转化为可训练的 LLM Agent 策略监督,在 Pass@128 上较基线模型最高提升 14 个百分点。 该方法通过树状搜索生成反事实目标,训练模型预测修正动作以扩展探索能力,并在与强化学习结合时进一步提升 Pass@1 性能。
来源:arXiv · AI · arxiv.org