arXiv · ML· Zhengtao Gui, Zexi Chen, Weining Shen·· 7 小时前AI 评分29
评估不完整日志中的自一致性：基于答案归一化的精确界与 Plurality-U 算法
Which Answers Agree? Evaluating Self-Consistency from Incomplete Logs
AI 导读
针对自一致性方法在不完整日志下的评估难题，研究利用随机优势推导了包含弃权计数的精确准确率界。在 1,403,520 个推理模型输出上，记录答案选项将 SuperGPQA 准确率区间宽度缩减超 50%，9 至 17 票时中位数缩减达 77.7%。引入的 Plurality-U 动态规划在 15 组测试中于 14 组显著优于 2000 次蒙特卡洛模拟的运行时。
来源：arXiv · ML · arxiv.org