arXiv · AI· Zihao Wang, Ye Tian, Tajana Rosing, Nalini Venkatasubramanian·· 12 小时前AI 评分24
LEDGE: 面向异构边缘设备分布式 LLM 服务的轻量级模拟器
LEDGE: An Efficient Simulator for Distributed LLM Serving on Heterogeneous Edge Devices
AI 导读
LEDGE 是一种无需执行张量运算即可评估异构边缘设备分布式 LLM 服务的轻量级模拟器。它在 10 台 Jetson 和 Raspberry Pi 设备上测试,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,综合加速比达 135.3 倍。
来源:arXiv · AI · arxiv.org