arXiv · NLP· Wenyuan Li, Guang Li, Dongyuan Li, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama·· 5 小时前AI 评分32
跨智能体交接任务接管基准 HSC-Bench 发布
Benchmarking Task Takeover Across Agent Handoffs
AI 导读
论文提出包含 1039 个任务的 HSC-Bench,用于评估智能体在长期任务中的交接表现。 对比 6 个接收模型显示,结构化交接状态提升了所有模型的仓库证据恢复能力及多数模型的延续性能,且不同模型在两条评测赛道上的排名存在差异。 该基准为根据后续工作需求选择接收模型和评估交接表征提供了依据。
来源:arXiv · NLP · arxiv.org