小模型开放生成中测试时扩展与语义聚类投票的效果研究

研究证实，在小规模模型中，语义聚类投票对数学问题能带来显著增益，但对开放式文本生成提升极其有限。 在包含250个提示词的基准测试中，Qwen2.5-3B等三个模型家族的数学准确率提升10至29分，而开放式文本评分至多仅增加0.30分。 绝大多数开放生成样本落入单一语义簇，增加解码温度未能恢复有效多样性，且导致质量净损失。