跳到正文
arXiv · AI· Jiayi Chen, Lizhe Chen, Yujia Chen, Shihan Dou, Ming Zhang, Chendi Ge, Shiguang Ni, Tao Gui, Qi Zhang, Xuanjing Huang, Maxm Pan·· 16 小时前AI 评分21

CompAct-Bench:评测长程 Agent 任务中工作上下文压缩的基准

CompAct-Bench: A Benchmark for Working-Context Compaction in Long-Horizon Agent Tasks

AI 导读

CompAct-Bench 通过下游任务效果评估 LLM 上下文压缩能力,发现前沿模型 Claude 和 GPT 在激进压缩下仍存在显著性能衰退。该基准涵盖 BrowseComp、SWE-bench 等任务,指出失败不仅源于信息遗漏,还因任务状态失真导致错误决策。

来源:arXiv · AI · arxiv.org