arXiv · AI· Kentaroh Toyoda, Alex Leung, Bhuvaneswari U·· 7 天前AI 评分33
GuardScope:测量 LLM 智能体系统中运行时控制所检查的动作
guardscope: Measuring Which Actions Runtime Controls Check in LLM Agent Systems
AI 导读
GuardScope 是一个用于量化 LLM 智能体运行时控制动作检查覆盖率的框架。 该框架分两阶段工作:静态阶段预测控制可检查的 15 条动作路径中的哪些,实证阶段在 8 种拓扑设计之一上运行固定负载,通过将控制决策记录与内核级基准比对,将每个已执行动作归类为已检查、已绕过或被阻止。
来源:arXiv · AI · arxiv.org