跳到正文
arXiv · ML· Yin Xu, Yongbo Yang, He Sun, Miao Sun, Mingjun Xiao·· 3 天前AI 评分27

SMELL:面向长上下文 LLM 的稀疏感知高效联邦微调框架

SMELL: Sparsity-aware Memory Efficient Federated Fine-tuning for Long-context LLMs

AI 导读

SMELL 框架在 16K 上下文长度下,将峰值内存消耗较传统微调降低 88.35%,较 forward-only LoRA 微调降低 13.25%。 该框架集成 LSFA、CASC 和 CPUR 机制,实现内存高效的本地适配、异构感知稀疏协调及轻量级更新传输,在 OPT-350M 和 LLaMA2-7B 实验中验证了其在非 IID 设置下的性能提升。

来源:arXiv · ML · arxiv.org