DISCO框架实现通信高效分布式推测解码

Joohyun Shin等研究者发表DISCO框架，提出通信高效的分布式推测解码方法。该设计消除词表级分布传输开销，保留精确目标分布。 服务器端引入草稿SLM副本本地获取拒绝采样分布，仅交换token索引和标量概率。此机制专门针对严格带宽约束下的设备-服务器协同LLM推理场景。 在多个数据集上，DISCO解码加速优于现有方法，尤其在低带宽环境下表现更优。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。