arXiv · AI· Peipei Jiao, Mingkang Liu, Weiming Meng, Lichen Pang, Tianyuan Liu, Junyan Li·· 7 小时前AI 评分28
PARC：面向端侧多模态智能体的并行对齐剪枝与轮次感知上下文复用
Parallelism-Aligned Pruning and Round-Aware Context Reuse for On-Device Multimodal Agents
AI 导读
端侧多模态智能体面临注意力结构不整除与KV缓存随轮次膨胀两大部署错配问题。PARC通过一阶泰勒重要度进行结构化剪枝，使注意力维度可被核心数整除，并按时效性重组KV缓存，让历史图像移出持久缓存。在七核部署下，该方法将视觉编码器延迟降低11.4%，解码吞吐量提升23.8%，每堆内存峰值降低12.7%。任务感知恢复训练恢复了98.7%的动作类型准确率差距。
来源：arXiv · AI · arxiv.org