跳到正文
arXiv · AI· Zhixiong Zhuang, Jin Jia, Zhiwei Shang, Ziyu Wang·· 2026-10-14AI 评分35

AuthGateBench:首个面向良性请求的LLM授权门控基准

AuthGateBench: Benchmarking LLMs as Authorization Gate

AI 导读

AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。

来源:arXiv · AI · arxiv.org