跳到正文
arXiv · NLP· Manh Nguyen, Sunil Gupta, Hung Le·· 8 小时前AI 评分25

共享上下文推理的Token预算理论:读得多不如想得多

Think More or Read More? A Token-Budget Theory of Reasoning with Shared Context

AI 导读

该研究提出Token预算理论,量化共享上下文窗口中阅读与信息生成推理资源的权衡,预测最优多智能体辩论数量。 理论显示,当窗口最紧张时,仅允许1-2个问题的校准支出下,该方法优于强基线模型。在5个开源模型和4个推理任务上,自一致性在93%的匹配窗口与组大小设置中匹配或超越部署辩论,且窗口越紧差距越大。

来源:arXiv · NLP · arxiv.org