arXiv · ML· Liyan Tan, Yequan Zhao, Ziyue Liu, Yupeng Su, Ruijie Zhang, Zheng Zhang·· 17 小时前AI 评分44
移动端 LLM 训练系统 MobileSpec 发布：基于前向-only 优化的块谱坐标方法
Training Specialist LLMs on Your Phone: Forward-Only Optimization via Block-Spectral Coordinates
AI 导读
MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型，解决了设备内存限制问题，无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标（列块奇异值）实现高效训练，且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数，将手机使用智能体的成功率从 6-23% 提升至 89-100%。
来源：arXiv · ML · arxiv.org