arXiv · ML· Sara Kangaslahti, Jonathan Geuter, Nihal V. Nayak, Marco Fumero, Francesco Locatello, David Alvarez-Melis·· 3 天前AI 评分35
LLM 模型大小插值中 Layer Patching 的作用与优化算法
Understanding Layer Patching in Model Size Interpolation
AI 导读
Layer patching 的顺序显著影响大语言模型插值性能,简单顺序策略(首层至末层或末层至首层)常表现优异。 该工作将最优层子集寻找建模为无环图中的最短路径优化问题,并提出基于 KL 散度的贪心算法 KLPatch,通常优于从末层开始的策略。
来源:arXiv · ML · arxiv.org