arXiv · AI· Wanrong Yang, Lingfang Li, Jun Zhang, Dominik Wojtczak·· 10 天前AI 评分26
小语言模型中自一致性投票的隐藏成本研究
When Self-Consistency Hurts: The Hidden Cost of Majority Voting in Small Language Models
AI 导读
在小语言模型中,固定使用自一致性投票往往比贪婪解码更差,主要因投票机制将正确结果翻转为错误。研究在 Qwen-2.5-0.5B 和 Gemma-3-1B 上验证,在 MATH-500 等任务中,自一致性准确率仅为 15-36%,且比贪婪解码低 3 个百分点。
来源:arXiv · AI · arxiv.org