arXiv · NLP· Suxin Ji, Hungtao Wan, Mingjun Liu, An Zhang·· 10 天前AI 评分21
神经荆棘林中的跨任务模型合并:邻近专家何时可组合
When Are Nearby Experts Composable? Cross-Task Model Merging in Neural Thickets
AI 导读
在21个任务对与6个检查点中,谱选择方法在4/6检查点实现最高联合成功率,5个≥1.5B模型联合成功率达53.1%,平均最低任务增益+0.61个百分点。 固定预算框架结合跨任务筛选、逐层对几何与独立验证,17.1%回归率表明模型可组合性仍受条件限制。
来源:arXiv · NLP · arxiv.org