arXiv · AI· Chuming Wei, Churui Yang, Zihan Zhang, Ruien Li, Wusheng Zhang, Yan Zhang, Guangwen Yang·· 5 小时前AI 评分23
ADTGuard：面向大语言模型流式推理的自适应深度时间安全防护
ADTGuard: Adaptive Depth-Time Safeguard for Streaming Inference in Large Language Models
AI 导读
ADTGuard 通过检查每个 token 来防止大语言模型在流式生成中暴露有害内容。 该框架仅使用 16M 可训练参数，实现了与最先进防护方案相当的检测性能并保持了较低的每个 token 延迟。 它通过深度时间安全动态和因果深度路由器，自适应地聚合各层证据并引导风险累积。
来源：arXiv · AI · arxiv.org