arXiv · ML· Xu Zheng, Wei Cheng, Zhuomin Chen, Dongkuan Xu, Mo Sha, Jingchao Ni, Dongsheng Luo·· 6 小时前AI 评分24
First-Order LoRA Training with Phone NPUs
First-Order LoRA Training with Phone NPUs
AI 导读
该系统将 LoRA 训练中的冻结权重乘法运算卸载至手机 NPU，保持训练图与优化器在 CPU 运行。 系统通过复用驻留权重和 FP16 梯度保护机制，在 Snapdragon 平台上评测了 Qwen 和 Llama 模型，对比了 CPU 与手机 GPU 训练器。 支持后台可恢复执行和热管理，允许大语言模型在本地设备上进行隐私保护微调。
来源：arXiv · ML · arxiv.org