arXiv · ML· Xingjian Wu, Junkai Lu, Siyu Yan, Xiangfei Qiu, Jilin Hu, Chenjuan Guo, Bin Yang·· 9 小时前AI 评分33
DMoA：通过可微分智能体混合实现大语言模型的群体智能
Differentiable Mixture-of-Agents Incentivizes Swarm Intelligence of Large Language Models
AI 导读
研究人员提出可微分智能体混合框架 DMoA，通过动态路由和稀疏激活机制，在推理时实现自适应智能体协作。 该框架利用递归结构引入历史上下文信息，并采用预测熵作为自监督信号优化路由，无需外部标注。 实验表明 DMoA 在 9 个基准测试中达到了最先进性能，兼具高效率、强鲁棒性及集成能力。
来源：arXiv · ML · arxiv.org