跳到正文
热点事件持续更新

DuplexTune MoE适配框架发布

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Paul Raj 等人于 2026 年 10 月 28 日发布 arXiv 论文,提出 DuplexTune 框架。该框架专门用于 MoE 模型的自适应耦合状态回放,旨在优化大模型在推理过程中的显存占用与吞吐量表现。 在 Qwen1.5-MoE-A2.7B 模型上,该框架通过训练宽度桥接两个残差流至骨干网络,并保持路由权重冻结。其桥梁预热过程先于骨干自适应进行,从而实现了高效的状态回放与适配机制。 评测显示,该方案使峰值显存降至 38.8 GB,吞吐量提升至 25.1 samples/s。模型在 MMLU、GSM8K 等基准上表现良好,但多语言得分弱于带检查点的基线模型,存在一定局限。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · AI
    DuplexTune:用于 MoE 自适应耦合状态回放框架

    DuplexTune 提出耦合状态回放框架,在 Qwen1.5-MoE-A2.7B 上峰值显存降至 38.8 GB,吞吐提升至 25.1 samples/s。 该框架通过训练宽度桥接两个残差流至骨干网络,路由权重保持冻结,且桥梁预热先于骨干自适应。 模型在 MMLU 达 67.2%,GSM8K 达 75.6%,MT-Bench 7.69 分,但多语言得分弱于带检查点的基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。