跳到正文
arXiv · ML· Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi·· 2026-10-16AI 评分28

DLR-Lock 通过深度低秩残差蒸馏锁定预训练权重

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

AI 导读

提出 DLR-Lock 方法,利用深度低秩残差网络(DLR-Net)替换预训练 MLP,以解决开源大语言模型权重被未授权修改的问题。 该方法迫使反向传播激活内存随深度线性增长,并在保持模型能力的前提下抵御掌握完整防御策略的自适应攻击者。 已被 NeurIPS 2026 接收,实验验证了其防御有效性。

来源:arXiv · ML · arxiv.org