arXiv · ML· Kalyan Nakka, Jimmy Dani, Ausmit Mondal, Nitesh Saxena·· 3 天前AI 评分33
LiteLMGuard:面向小型语言模型的轻量级端侧护栏
LiteLMGuard: Seamless and Lightweight On-Device Guardrails for Small Language Models against Quantization Vulnerabilities
AI 导读
LiteLMGuard 是针对小型语言模型量化漏洞的轻量级端侧护栏,部署后对有害提示词防御率超 85%,平均延迟约 135 ms。 模型基于 ELECTRA 构建,具备 97.75% 可回答性分类准确率,支持实时离线过滤且架构无关。 该机制有效防御 Open Knowledge Attacks,提升端侧 SLM 安全性。
来源:arXiv · ML · arxiv.org