跳到正文
arXiv · ML· Sergio Hern\'andez-Guti\'errez, Matteo Merler, Ilze Amanda Auzina, Joschka Str\"uber, Ameya Prabhu, Matthias Bethge·· 4 天前AI 评分28

QVal: 评估长时程 LLM 智能体密集监督信号

QVal: Evaluating Dense Supervision Signals for Long-Horizon LLM Agents

AI 导读

QVal 是一个免训练测试床,用于测量密集监督信号的 Q 对齐度,即信号对状态中候选动作的排序是否与参考策略下的回报一致。该基准测试了来自七个家族的 21 种方法和六种开放权重骨干,发现简单提示基线在平均 Q 对齐度上表现最佳,而代码生成信号仅在小状态和动作空间中表现良好。Q 对齐度与测试时任务成功率增益强相关,使研究人员能在提交完整训练前低成本比较新信号。

来源:arXiv · ML · arxiv.org