arXiv · ML· Tomas Rasymas, Povilas Kvedaras·· 23 小时前AI 评分29
专家剪枝混合专家模型中英语校准侵蚀立陶宛语能力的研究
English Calibration Erodes Lithuanian in Expert-Pruned Mixture-of-Experts Language Models
AI 导读
研究通过 REAP 技术剪枝四个 Mixture-of-Experts 模型发现，英语校准未能有效迁移至低资源立陶宛语，导致其阅读理解性能大幅下降。 25% 剪枝比例下，立陶宛语成绩中位数下跌 21.4 点，而英语仅下跌 1.7 点；层末路由分析显示，立陶宛语 55-72% 的专家选择集中在少数专家上，易被英语校准剔除。
来源：arXiv · ML · arxiv.org