跳到正文
arXiv · NLP· Hao Cheng (Zhejiang Gongshang University), Zhiyu Yang (Chang'an University), Bo Ma (Zhejiang Gongshang University), Hanzhang Jia (University of Sussex)·· 15 天前AI 评分31

推理时专家停用中匹配训练时权重规则

Matching the Training-Time Weight Rule in Inference-Time Expert Deactivation

AI 导读

研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。

来源:arXiv · NLP · arxiv.org