arXiv · ML· Bangji Yang, Jingyuan Li, Jiajun Fan, Yi Evie Zhang, Ruihan Guo, Hongbo Ma, Neil He, Chumeng Liang, Qinglong Zheng, Zhanghan Ni, Ge Liu·· 2026-10-07AI 评分33
SELF-POT 基准衡量语言模型测试时计算的增益
How Much Can Language Models Gain from Test-Time Computation?
AI 导读
论文提出 SELF-POT 框架,统一评估语言模型在竞赛数学、编程及智能体任务中的测试时计算收益。 该框架通过固定倍数预算,对比直接推理与并行采样、自修订策略的成本与准确率。数据显示,公共示例选择可将编程正确提交数从 376 提至 453,并节省 12-49% API 成本。 研究量化了模型判据的边际价值,为低成本模型通过增加推理替代更强模型提供了量化依据。
来源:arXiv · ML · arxiv.org