arXiv · AI· Kangwen Zhao, Jianfeng Cai, Ruopei Sun, Mingxiao Feng, Peng Zhang, Wengang Zhou, Houqiang Li·· 3 天前AI 评分46
GainCtrl:通过预测剩余增益实现 LLM 智能体的高效执行
GainCtrl: Predicting Remaining Gains for Efficient LLM Agent Execution
AI 导读
GainCtrl 是一款基于增益的 LLM 智能体执行控制器,通过轻量级 CPU 预测器根据交互历史估算保留分数之上的预期正向增益。 该预测器在单 CPU 线程上以毫秒级延迟运行,在匹配目标质量下通常比基线消耗更少 token,且支持无需访问 LLM 内部结构即可进行监控。
来源:arXiv · AI · arxiv.org