跳到正文
arXiv · AI· Wanrong Yang, Lingfang Li, Jun Zhang, Dominik Wojtczak·· 10 天前AI 评分26

小语言模型中自一致性投票的隐藏成本研究

When Self-Consistency Hurts: The Hidden Cost of Majority Voting in Small Language Models

AI 导读

在小语言模型中,固定使用自一致性投票往往比贪婪解码更差,主要因投票机制将正确结果翻转为错误。研究在 Qwen-2.5-0.5B 和 Gemma-3-1B 上验证,在 MATH-500 等任务中,自一致性准确率仅为 15-36%,且比贪婪解码低 3 个百分点。

来源:arXiv · AI · arxiv.org