跳到正文
arXiv · AI· Max Hartman, Vidhata Jayaraman, Moulik Choraria, Lav R. Varshney·· 2026-10-14AI 评分31

TARS 通过识别并移除思维锚点,在保持推理轨迹可读性的同时实现抗蒸馏

Hiding in Plain Sight: Detectability-Aware Antidistillation of Reasoning Models

AI 导读

TARS 将抗蒸馏视为最大最小博弈,通过识别并移除语义冗余的“思维锚点”来破坏学生学习,同时使教师模型输出在统计上不可区分。 该方法将移除操作建模为突发删除,并在 DeepSeek R1 Distill Qwen 7B 等模型及 MMLU Pro 基准上验证了其有效性。 该防御机制在不降低教师模型任务准确率的前提下,有效阻断了针对前沿模型的对抗性蒸馏。

来源:arXiv · AI · arxiv.org