跳到正文
Hacker News LLM· byoungyoung·· 3 小时前AI 评分26

KVGuard:LLM 服务系统的 KV Cache 安全检查器

KVGuard: A KV Cache Safety Checker for LLM Serving Systems

AI 导读

研究团队提出首个面向 LLM 服务系统的 KV 缓存内存安全抽象 KVGuard,系统性检测双重释放、越界访问等五类 PagedAttention 工作流中的安全漏洞。

来源:Hacker News LLM · arxiv.org