arXiv · NLP· Yingfeng Luo, Dingyang Lin, Junxin Wang, Kaiyan Chang, Ziqiang Xu, Weiqiao Shan, Yinqiao Li, Tong Zheng, Bei Li, Anxiang Ma, Tong Xiao, Zhengtao Yu, Jingbo Zhu·· 2026-10-14AI 评分28
TADrop:基于分布引导的张量级自适应稀疏化模型合并方法
One Size Does Not Fit All: Distribution-Guided Tensor-Wise Adaptive Sparsification for Model Merging
AI 导读
TADrop是一种即插即用的数据无关稀疏化方法,通过量级分布独立确定张量保留率以优化模型合并。在LLM和LoRA合并基准测试中,该方法在RoBERTa GLUE上较EMR-Merging提升4.99分。多任务ViT-B/16合并性能随任务数增加显著提升,30任务时提升达2.26分。
来源:arXiv · NLP · arxiv.org