arXiv · AI· Yichao Yuan, Mosharaf Chowdhury, Nishil Talati·· 9 天前AI 评分35
KAIROS:面向智能体推理的状态感知、上下文感知低功耗服务系统
KAIROS: Stateful, Context-Aware Power-Efficient Agentic Inference Serving
AI 导读
KAIROS 是一种面向智能体 AI 服务的上下文感知功耗优化系统。它将智能体上下文作为首要控制信号,联合管理 GPU 频率、单实例并发及多实例请求分配,在降低功耗的同时避免内存抖动并维持性能目标。在软件和数据分析智能体任务评测中,KAIROS 平均实现 27% 的功耗降低(最高达 39.8%),且满足既定性能指标。
来源:arXiv · AI · arxiv.org