上下文压缩是否保留拒绝对齐？

研究发现，基于编码器的上下文压缩在保持高重建保真度的同时，系统性地削弱了指令微调大语言模型的拒绝行为，且该效应跨模型族和压缩架构持续存在。 机制分析表明，压缩会衰减解码器学习到的拒绝方向上的激活值。