跳到正文
arXiv · AI· Aristides Milios, Christopher Pal·· 11 天前AI 评分31

Scout Before You Route: 利用小型 LLM Prefill 预测任务成功率与 Token 数量

Scout Before You Route: Predicting Task Success and Token Count from a Small LLM Prefill

AI 导读

该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。

来源:arXiv · AI · arxiv.org