跳到正文
热点事件持续更新

团队发布MoE-SpAc端侧MoE推理框架并开源代码

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月26日,研究人员提出MoE-SpAc端侧MoE推理框架并开源代码。该框架针对边缘设备内存受限及I/O瓶颈问题,将推测解码转化为内存管理的前瞻传感器,统一预取与驱逐过程。其包含推测效用估计器、异构负载均衡器和异步执行引擎三大核心组件。在七个基准测试中,该框架将TPS提升42%,比标准基线快4.04倍,实现了边缘异构场景下的MoE推理加速。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv · AI
    MoE-SpAc 实现边缘异构场景下基于推测激活效用的 MoE 推理加速

    MoE-SpAc 提出基于推测解码的 MoE 推理框架,在七个基准测试中将 TPS 提升 42%,并比标准基线快 4.04 倍。该框架通过推测效用估计器、异构负载均衡器和异步执行引擎,将推测解码转化为内存管理的前瞻传感器,统一预取与驱逐过程。论文代码已开源,旨在解决边缘设备内存受限与 I/O 瓶颈问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。