arXiv · AI· Juncheng Diao, Haibin Wang, Wei Shi, Yifan Ding, Qingbin Li, Rongxiang Weng, Xunliang Cai·· 4 小时前AI 评分34
SAPD：无需环境交互即可从智能体经验中学习
SAPD: Learning from Agent Experience without Environment Interaction
AI 导读
研究提出步骤优势策略蒸馏（SAPD），利用离线轨迹中的相对步骤优势信号训练 LLM 智能体，全程无需新的环境观测或多轮交互。 该方法将多轮轨迹分解为独立决策上下文进行同策略蒸馏，在 ALFWorld、WebShop 等基准上提升了性能并缓解灾难性遗忘，训练速度比在线 OPD 快至少 4.7 倍。
来源：arXiv · AI · arxiv.org