跳到正文
arXiv · ML· Susav Shrestha, Brad Settlemyer, Narasimha Reddy·· 9 天前AI 评分21

Decode Token Parallelism: 实现可扩展LLM解码的内存高效分布式注意力并行

Decode Token Parallelism: Memory-Efficient Distributed Attention Parallelism for Scalable LLM Decoding

AI 导读

TKNP架构将权重放置与注意力所有权解耦,在64块H100上实现长上下文高并发工作负载的完成率提升。 该方法基于vLLM实现,在Llama 3.1 405B和Nemotron-4 340B上评估,吞吐量比DCP提升最高1.7倍。

来源:arXiv · ML · arxiv.org