跳到正文
arXiv · AI· Peter Belcak, Greg Heinrich, Saurav Muralidharan, Shizhe Diao, Pavlo Molchanov·· 11 天前AI 评分38

CPU-ARC:用于 CPU 推理复用的智能体推理缓存

CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse

AI 导读

CPU-ARC 提出智能体推理缓存(ARC)方法,将从 LLM 推理轨迹构建的缓存用于 CPU 执行,可高效解决新实例问题。 ARC 在多项数学和科学任务上表现与前沿 LLM 持平,且调用成本比源模型低 16-291 倍。 该方案完全可解释、支持持续训练,并对输入扰动具有鲁棒性。

来源:arXiv · AI · arxiv.org