arXiv · AI· Zhangming Li, Qinghao Hu, Weifan Guan, Yifan Zhang, Peisong Wang, Jian Cheng·· 29 天前AI 评分34
NormTune:面向推理密集型任务的范数引导参数高效微调方法
NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks
AI 导读
NormTune 提出一种范数引导策略,通过自适应强化更新不足层提升参数高效微调在推理任务中的表现。 在 S1K-1.1 训练集上,该方法使 rank-8 LoRA、Bone 和 MoRA 在 AIME 2024、MATH 500、GPQA 等基准测试中平均准确率分别提升 24.24%、11.33% 和 16.21%。
来源:arXiv · AI · arxiv.org