跳到正文
arXiv · AI· Alkut Arxidin, Shaoning Zeng, Jianhang Zhou, Jianping Gou, Xinzhong Zhu·· 7 小时前AI 评分20

长程研究智能体行动构建的评估框架:阅读集设计与效率分析

Designing Informative Actions: Action Construction for Long-Horizon Research Agents

AI 导读

研究提出用于评估长程研究智能体行动构建的阅读集框架。在30个合成状态下,完整设计请求相较于行动名称基线,使两个模型族的负担得起的效率分别提升465.98%和327.91%。 构建的60场景数据集显示,场景级信息成本比与18名人类参与者的判断具有0.733的平均场景内相关性。该框架使设计规范与执行模糊性可衡量,为评估智能体将科学意图转化为预算可行的信息丰富实验提供了可复现基础。

来源:arXiv · AI · arxiv.org