arXiv · AI· Firas Spanioli, Yaniv David·· 12 小时前AI 评分29
GateWatch: Low-Overhead LLM Monitoring with Boolean Circuits
GateWatch: Low-Overhead LLM Monitoring with Boolean Circuits
AI 导读
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
来源:arXiv · AI · arxiv.org