arXiv · AI· Anirudh Buvanesh, Khaled Rouissi, Sujin Yun, Johan Obando-Ceron, Morgane M Moss, Samuel Lavoie, Michael Noukhovitch, Laurent Charlin, Aaron Courville·· 7 小时前AI 评分42
Scorpio:提升大语言模型测试时计算自评估效率的方法
On the Limits of Test-Time Compute for Self-Evaluation
AI 导读
Scorpio 通过联合评分随机分组候选项,显著提升了自验证与聚合效果,推理成本降低 17-42% 且验证准确率最高提升 7 个百分点。 该分析基于排名误差的偏差-方差分解,指出额外计算降低方差但偏差存在平台期,Scorpio 在数学、代码等基准测试中均优于基线。 Scorpio 还改善了树搜索准确率(最高提升 10 个百分点)及聚合方法在代码任务中的扩展性(提升 11 个百分点)。
来源:arXiv · AI · arxiv.org