基于线性注意力初始化的 Transformer 到 Mamba 跨架构蒸馏配方

论文提出一种两阶段方法，将 Transformer 知识蒸馏至无 Attention 的 Mamba 架构，解决原有直接蒸馏性能下降的问题。 先利用核技巧将 Transformer 蒸馏为线性化 Attention，再将其蒸馏至 Mamba。在 1B 规模实验中，蒸馏后 Mamba 模型困惑度为 14.01，接近教师模型 Pythia-1B 的 13.86，并在多项下游任务中保留了大部分性能。