跳到正文
arXiv · AI· Pavel Golikov, Evgenii Opryshko, Gennady Pekhimenko, Mark C. Jeffrey·· 24 天前AI 评分22

ArbiGraph: 用于评估上下文管理的可任意扩展可验证任务图

ArbiGraph: Arbitrarily Scalable Verifiable Task Graphs for Evaluating Context Management

AI 导读

新基准 ArbiGraph 生成器用于评估工具辅助智能体在长推理流中的上下文保留与丢弃能力。 该基准通过带类型的中间状态构建任务图,在分支依赖数学任务上,Qwen3.5-27B 的智能体准确率下降高达 33.3%,揭示单任务评估无法发现的缺陷。

来源:arXiv · AI · arxiv.org