跳到正文
arXiv · AI· Zeqiu Yu, Xuesheng Zhang, Wenxiao Zhao, Shixiao Wang·· 16 天前AI 评分33

LHM 低秩层次合并实现长链思维高效短化

Low-Rank Hierarchical Merging for Efficient Long-to-Short Reasoning

AI 导读

免训练框架 LHM 结合低秩 Hessian 近似与二阶曲率信息,解决现有合并方法在难任务上精度下降问题。 该方法通过 LSOS 指标量化层融合难度,并用 DCCM 生成层自适应合并系数,在 6 个数学基准测试中超越 ACM-TIES 和 ORCA。 实验显示 LHM 在 1.5B 和 7B 模型上精度提升超 4%,输出长度相对长 CoT 模型减少多达 93.1%。

来源:arXiv · AI · arxiv.org