arXiv · AI· Shuncheng Jie, Desen Sun, Ri Hong, Yuyang Tian, Hong Zhang, Sihang Liu·· 16 小时前AI 评分25
SAKURA：手机端私密图像编辑中注意力KV状态的速率自适应服务架构
SAKURA: Serving Attention Key-Value State Under Rate Adaptation for Private Image Editing on Phones
AI 导读
SAKURA 提出一种云边协同架构，在带宽受限下向手机设备传输可复用的注意力 KV 状态，用于扩散模型图像编辑任务。 该架构采用细粒度 token 重要性感知压缩方法，运行时根据网络带宽自适应选择缓存表示，并通过流水线执行将缓存传输、重建与设备端计算重叠。
来源：arXiv · AI · arxiv.org