跳到正文
arXiv · ML· Xuanqi Zhang, Haoyang Shang, Xiaoxiao Li·· 2026-10-16AI 评分30

通过门控子空间引导在发生处缓解LLM记忆化

Mitigating Memorization Where It Happens

AI 导读

LLM存在逐字复现训练序列导致隐私和版权风险,现有方法统一干预常损害性能。 研究人员推导出门控子空间引导(GSS)框架,其探针-引导对的最优解为梯度加权激活矩阵的主奇异向量。 在四个基准测试中,GSS性能达到或超过最先进水平,且计算量比基于优化的方法少10-100倍。

来源:arXiv · ML · arxiv.org