arXiv · NLP· Huawei Lin, Jinting Liu, Tan Yu, Weijie Zhao·· 6 小时前AI 评分23
LatComm 提出可复用上下文压缩方案，实现多 LLM 间高效潜在通信
LatComm: Reusable Context Compression for Latent Communication between Large Language Models
AI 导读
LatComm 通过分离编码与读取，解决了多 LLM 系统中上下文传递效率低下的问题。 它采用冻结 LLM 编码固定大小数据包，接收端通过交叉注意力选择读取，12 个基准平均准确率提升最高 10.2 分。 在 QuALITY 上，该方法将接收端输入减少 57 倍，回答速度提升 3 倍。
来源：arXiv · NLP · arxiv.org