arXiv · AI· Zhuo Zhang, Jingyuan Zhang, Jintao Huang, Hui Wang, Yue Yu, Hongzhi Zhang, Xun Zhou, Lizhen Qu, Zenglin Xu·· 2026-10-06AI 评分34
PPFedIT:面向隐私保护的少样本联邦指令微调
PPFedIT: Towards Privacy-Preserving Federated Instruction Tuning with Few-shot Local Examples
AI 导读
PPFedIT 在三个开源数据集上将联邦少样本指令微调的模型性能平均提升 8.4%,并把数据提取攻击风险降低约 20%。 该算法含三步客户端流程:用 LLM 合成数据扩充本地样本、参数隔离训练分别更新全局与本地 LLM、本地聚合后再上传服务器聚合。 论文指出,现有 FedIT 方法假设本地数据充足,少样本下易过拟合、性能下降并更易遭数据提取攻击。
来源:arXiv · AI · arxiv.org