跳到正文
arXiv · AI· Zhengxiang Huang, Yujie Sun, Shengheng Chen, Zhaode Wang, Chaoyue Niu, Zeyu Zhao, Chengfei Lv, Fan Wu, Guihai Chen·· 9 天前AI 评分45

EngineAgent:基于推理栈层级感知与硬件能力端侧LLM推理引擎的智能体化

EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities

AI 导读

EngineAgent 通过层级感知引擎索引和预验证工作流,实现了跨层协调的端侧 LLM 模型启用。该系统在 12 项任务中,使用两种底层 LLM 均达到 75% 的端到端成功率,远超最强编码智能体基线的 33.3%,并降低了平均任务时间和 API 成本。

来源:arXiv · AI · arxiv.org