arXiv · ML· Ziyue Luo, Jiaxuan Cai, Cedric LeDenmat, Srijith Nair, Fatemeh Nourzad, Rohith Krishnan, Qinhang Wu, Jifan Zhang, Sungjae Lee, Zhe Li, Peiwen Qiu, Siddharth Shah, Rishabh Sharma, Sundararajan Srinivasan, Yinglun Xia, Xue Zheng, Zidong Liu, Bicheng Ying, Kaushik Chowdhury, Gauri Joshi, Yingbin Liang, Robert Nowak, Srinivasan Parthasarathy, Saurav Prakash, Balaraman Ravindran, Sanjay Shakkottai, Ness B. Shroff, Haibo Yang, Aylin Yener, Jia Liu·· 5 小时前AI 评分24
边缘赋能 LLM 训练民主化：挑战、系统架构与未来路径
Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead
AI 导读
论文提出基于云托管参数服务器和出站 gRPC 连接的统一系统架构，以协调异构客户端进行分布式 LLM 训练，支持预训练与微调。 在多个大学站点使用 GPT-2 Medium 和 Llama3-1B 完成跨地域真实实验，验证了异构硬件和不稳定网络下的稳定收敛性。 该架构旨在让缺乏大型基础设施的机构也能参与大模型开发，推动 LLM 训练民主化进程。
来源：arXiv · ML · arxiv.org