跳到正文
arXiv · AI· Hongbo Ma, Sansheng Cao, Jiajun Fan, Bangji Yang, Ge Liu·· 6 小时前AI 评分45

S³:谱空空间交换让推理模型更高效

$S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient

AI 导读

研究提出 S³(Spectral Null-Space Swap)方法,通过非思考模型的主导子空间与思考模型空空间的权重组合,在不损精度的前提下提升推理效率。 该训练无关方法在 2B 至 30B 稠密及 MoE 架构上测试,平均降低 27.4% 推理 token 开销,同时提升整体任务准确率 1.0 个百分点。

来源:arXiv · AI · arxiv.org