跳到正文
arXiv · AI· Geunhyoung Kim, Sung Ju Hwang·· 5 小时前AI 评分30

MoE 解码通道选择无需校准数据

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

AI 导读

通道选择采用 Top-k 策略无需校准数据,在 13% 和 18% 预算下 40/43 次对比中性能优于阈值法,并避免 Gemma 4 中的重复循环问题。 构建的读者在 17.8% 读取率下保留 98.1% 精度,Triton 内核在 batch 1 时比优化 vLLM 快 1.60-1.90 倍。

来源:arXiv · AI · arxiv.org