arXiv · ML· Yin Xu, Yongbo Yang, He Sun, Miao Sun, Mingjun Xiao·· 3 天前AI 评分27
SMELL:面向长上下文 LLM 的稀疏感知高效联邦微调框架
SMELL: Sparsity-aware Memory Efficient Federated Fine-tuning for Long-context LLMs
AI 导读
SMELL 框架在 16K 上下文长度下,将峰值内存消耗较传统微调降低 88.35%,较 forward-only LoRA 微调降低 13.25%。 该框架集成 LSFA、CASC 和 CPUR 机制,实现内存高效的本地适配、异构感知稀疏协调及轻量级更新传输,在 OPT-350M 和 LLaMA2-7B 实验中验证了其在非 IID 设置下的性能提升。
来源:arXiv · ML · arxiv.org