CALA：用于效用保持的反蒸馏的冲突感知 Logit 适配器

CALA 提出了一种轻量级训练时防御，通过在冻结教师模型上添加小型残差适配器来减少学生模仿，同时保持教师性能。该方法利用代理学生定位敏感位置进行扰动，并在推理时仅产生适度开销且无需辅助模型。 实验显示，在推理基准测试中，CALA 在显著降低成功模仿率的同时，维持了接近原始的教师性能和生成质量。 该研究确立了 CALA 作为解码时干预方法的实用且高效替代方案。