arXiv · AI· Jiayi Chen, Lizhe Chen, Yujia Chen, Shihan Dou, Ming Zhang, Chendi Ge, Shiguang Ni, Tao Gui, Qi Zhang, Xuanjing Huang, Maxm Pan·· 16 小时前AI 评分21
CompAct-Bench:评测长程 Agent 任务中工作上下文压缩的基准
CompAct-Bench: A Benchmark for Working-Context Compaction in Long-Horizon Agent Tasks
AI 导读
CompAct-Bench 通过下游任务效果评估 LLM 上下文压缩能力,发现前沿模型 Claude 和 GPT 在激进压缩下仍存在显著性能衰退。该基准涵盖 BrowseComp、SWE-bench 等任务,指出失败不仅源于信息遗漏,还因任务状态失真导致错误决策。
来源:arXiv · AI · arxiv.org