arXiv · ML· Muhammad Azlan Qazi, Alexandros Iosifidis, Qi Zhang·· 8 小时前AI 评分28
TRACE: 面向通信高效分布式边缘推理的 Transformer 残差激活码本编码
TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
AI 导读
TRACE框架在分布式Transformer推理中引入向量量化，通过预计算码本使接收端直接查表恢复键值，消除下游计算以重叠通信与计算。 实验在ViT-Base等模型上显示，与现有最优方法相比，准确率最高提升1.89%，端到端推理速度最高提升1.27倍，通信开销最高降低22,624倍。
来源：arXiv · ML · arxiv.org