跳到正文
arXiv · ML· Dachuan Song, Chuchu Chen, Xuan Wang·· 12 小时前AI 评分31

ESSH:面向预算推理的弹性选择谱混合模型

Elastic Selective Spectral Hybrids for Train-Once, Export-Many Budgeted Inference

AI 导读

提出弹性选择谱混合模型ESSH,通过输入依赖门控实现可截断的通道,支持单训多导。在1.53B配置下,B300上单token解码耗时1.37 ms。较Mamba-2/3提速2.14-2.80倍,较Transformer++提速3.03倍。

来源:arXiv · ML · arxiv.org