arXiv · ML· Duc Anh Nguyen, Tien Ngoc Luu, Tung Pham, Toan Tran·· 16 小时前AI 评分33
Mixture-of-Control：面向 Transformer 模型的状态感知微调方法
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
AI 导读
Mixture-of-Control（MoC）通过稀疏混合专家机制实现跨层控制信号通信，解决了现有基于状态微调方法层间信息交换受限的问题。 实验在33个数据集和10个预训练模型上验证，MoC在记忆和计算效率相当的情况下，性能一致优于现有基于状态的方法。
来源：arXiv · ML · arxiv.org