TSBPO: 面向交互式语言智能体策略优化的树状分支采样方法

TSBPO 提出一种树状采样至更新范式，解决交互式智能体训练中的任务采样、延迟反馈分配及多 token 动作损失聚合问题。 Qwen2.5-1.5B 模型在 ALFWorld 基准上实现 97.79% 已知及 96.64% 未知场景成功率，WebShop 每回合成功率达 81.07%。 该训练配置在两个交互式基准上获得最优结果。