跳到正文
arXiv · NLP· Jianguo Huang, Zhiyi Lyu, Fuxiang Zhang, Yanchen Deng, Deheng Ye, Bo An·· 8 小时前AI 评分31

Uncertainty-Aware Budget Allocation 框架提升 LLM 树搜索效率

Uncertainty-Aware Budget Allocation for Efficient LLM Tree Search

AI 导读

研究人员提出无需训练的 UAA 框架,将价值与不确定性解耦以优化 LLM 树搜索。该框架利用兄弟动作的语义离散度估计不确定性,从而在扩展前确定子树预算。在数学、逻辑和规划基准测试中,UAA 在保持同等精度的前提下,最多减少 90% 的 token 使用量,并将延迟降低最多 9 倍。

来源:arXiv · NLP · arxiv.org