Plurality-U算法优化不完整日志自一致性评估

2026年10月，arXiv发布针对自一致性方法评估难题的研究。该研究利用随机优势推导了包含弃权计数的精确准确率界，解决了不完整日志下的评估痛点。在1,403,520个推理模型输出测试中，记录答案选项使SuperGPQA准确率区间宽度缩减超50%。9至17票时中位数缩减达77.7%，显著提升了评估精度与效率。 研究引入Plurality-U动态规划算法，旨在优化评估过程。在15组测试中，该算法于14组场景下显著优于2000次蒙特卡洛模拟的运行时。这一结果证明了新算法在计算效率上的优势，为大规模模型评估提供了更高效的工具，推动相关领域技术进步。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。