arXiv · AI· Yiwei Zha, Qingyu Meng, Herbert Bos, Min Chen·· 7 小时前AI 评分41
基准测试 ARCBench：评估上下文压缩下 LLM 代理的规则合规性
Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
AI 导读
针对 LLM 代理在上下文压缩（compaction）后的规则合规性问题，研究引入基于开源 pi agent harness 的 ARCBench 基准测试，以测量执行过程中由行为产生的违规来源。 分析发现压缩极少删除规则，多数违规发生于规则仍留存于历史时代理错误将后续请求视为许可；最强定向攻击使违规率翻倍，且保留规则不保证合规，其违规频率超全量历史运行两倍。
来源：arXiv · AI · arxiv.org