跳到正文
arXiv · NLP· Mingzi Cao, Xi Wang, Nikolaos Aletras·· 2026-10-09AI 评分22

Optimal Transport Depth Up-Scaling (OT-DUS):利用最优传输对齐神经元以解决 LLM 深度扩展失配问题

Optimal Transport Depth Up-Scaling

AI 导读

针对 LLM 深度扩展中插入新层导致的神经元排列失配问题,本文提出 Optimal Transport Depth Up-Scaling (OT-DUS) 方法。 该方法利用最优传输(OT)理论逐模块对齐并融合功能对应的神经元,在通用与特定领域的持续预训练及监督微调中表现优于现有方法。 分析显示,将新层插入较高位置不仅能提升模型性能,还能改善训练效率。

来源:arXiv · NLP · arxiv.org