arXiv · AI· Mattias D\"urrmeier, Alberto Lerner·· 4 小时前AI 评分30
长上下文 LLM 本地推理：数据系统视角下的瓶颈分析
Local Inference of LLMs on Long Contexts: A Data Systems Perspective
AI 导读
长上下文 LLM 本地推理主要受限于自我注意力机制的资源低效利用，最新 GPU 往往表现最差。 研究分析多代 GPU 瓶颈，将问题归结为 KV cache 分页、缓存利用率和同步等数据管理难题。
来源：arXiv · AI · arxiv.org