跳到正文
arXiv · ML· Jungseob Lee, Seungyoon Lee, Sugyeong Eo, Hyeonseok Moon, Jaehyung Seo, Heuiseok Lim·· 2026-10-05AI 评分23

大型语言模型中合并坍缩的预测与修复

Predicting and Repairing Merge Collapse in Large Language Models

AI 导读

研究发现,专家任务向量的方差可作为干扰指标,预测大语言模型合并时的性能坍缩。研究提出的 PRISM 算子通过平均任务向量并按层干扰水平进行软阈值处理,无需数据或调优,可将所有 5 个破坏性合并的性能保持在基础模型水平附近。

来源:arXiv · ML · arxiv.org