arXiv · AI· Hongbo Ma, Sansheng Cao, Jiajun Fan, Bangji Yang, Ge Liu·· 6 小时前AI 评分45
S³:谱空空间交换让推理模型更高效
$S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient
AI 导读
研究提出 S³(Spectral Null-Space Swap)方法,通过非思考模型的主导子空间与思考模型空空间的权重组合,在不损精度的前提下提升推理效率。 该训练无关方法在 2B 至 30B 稠密及 MoE 架构上测试,平均降低 27.4% 推理 token 开销,同时提升整体任务准确率 1.0 个百分点。
来源:arXiv · AI · arxiv.org