arXiv · AI· Pengxin Guo, Shuang Zeng, Zonggen Li, Weiying Zheng, Mengting Liu, Liangqiong Qu·· 2026-10-09AI 评分28
Fed-GRPO: 基于奖励信号驱动的联邦群体相对策略优化
Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
AI 导读
提出联邦框架 Fed-GRPO,利用 GRPO 训练中的奖励统计量作为零成本信号引导聚合与通信,实现隐私保护下的协同推理训练。该框架包含信号加权聚合、全局奖励校准及自适应稀疏通信机制,在数学推理任务中优于 FedAvg 并接近中心化性能。实验表明其可无损降低 32 倍通信量,在带宽受限下支持最高 621 倍压缩且精度仅轻微下降。
来源:arXiv · AI · arxiv.org