arXiv · ML· Joohyun Shin, Byeonghyeon Park, Keumseo Ryum, Joonhyuk Kang·· 6 小时前AI 评分29
DISCO 通过通信高效的推测解码实现分布式 LLM 推理
Distributed LLM Inference via Communication-Efficient Speculative Decoding
AI 导读
论文提出通信高效的分布式推测解码框架 DISCO，消除词表级分布传输开销。 服务器端引入草稿 SLM 副本以本地获取拒绝采样分布，仅交换 token 索引和标量概率。 在多个数据集上 DISCO 解码加速优于现有方法，尤其在低带宽环境下表现更优。
来源：arXiv · ML · arxiv.org