arXiv · AI· Paul Raj, Simon Caldwell, Daniel Whitmore, Mutlu Mete·· 5 小时前AI 评分24
DuplexTune：用于 MoE 自适应耦合状态回放框架
DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
AI 导读
DuplexTune 提出耦合状态回放框架，在 Qwen1.5-MoE-A2.7B 上峰值显存降至 38.8 GB，吞吐提升至 25.1 samples/s。 该框架通过训练宽度桥接两个残差流至骨干网络，路由权重保持冻结，且桥梁预热先于骨干自适应。 模型在 MMLU 达 67.2%，GSM8K 达 75.6%，MT-Bench 7.69 分，但多语言得分弱于带检查点的基线。
来源：arXiv · AI · arxiv.org