arXiv · AI· Yupeng Chang, Yahan Li, Chenlu Guo, Diana Inkpen, Yuan Wu, Yi Chang·· 12 小时前AI 评分25
BOSS 实现 LLM 推理中基于 Token 预算的在线采样与选择
BOSS: Token-Budgeted Online Sampling and Selection for LLM Reasoning
AI 导读
免训练策略 BOSS 在 Llama-3.1 模型上实现了 LLM 推理中基于 Token 预算的在线生成与裁决分配。 在 Llama-3.1-8B 且 B=4k 预算下，BOSS 达到 60.5% 宏平均准确率，优于 Adaptive-Consistency 和 TALE-EP 等基线方法。 该结果确立了生成-裁决分配作为严格单实例 Token 上限下推理设计的独立维度。
来源：arXiv · AI · arxiv.org