arXiv · AI· Shengtao Wen, Yunying Yang, Xiang Chen, Lingbing Guo, Yu Tian, Sheng-Jun Huang·· 15 天前AI 评分26
SPARK:通过自蒸馏重放实现 LLM 持续学习中知识与隐私的解耦
Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning
AI 导读
SPARK 采用保留-校正分解策略,通过冻结任务分布并针对性调整,在保持 LLM 持续学习效用的同时有效抑制敏感个人信息。 该框架结合自蒸馏重学与任务后隐私校正,将非敏感行为锚定于参考检查点,确保敏感内容概率降低且知识保留能力维持在多样化场景中不变。
来源:arXiv · AI · arxiv.org