跳到正文
arXiv · AI· Anton Hristov·· 16 天前AI 评分23

推理历史压缩对大模型未来生成与智能体成本的影响研究

Why Pay for Long Reasoning When Rewrite Do Trick? Causal Effects of Reasoning History Compaction on Future Generation and Agent Cost

AI 导读

研究提出在不重训的情况下,通过将历史推理改写为紧凑状态记录来降低模型推理冗余。在代码任务测试中,压缩后的历史使后续推理变短,减少了重复验证行为。在软件智能体部署中,该策略可降低总花费,但具体效果取决于目标模型与压缩器配置。

来源:arXiv · AI · arxiv.org