arXiv · ML· Dachuan Song, Chuchu Chen, Xuan Wang·· 12 小时前AI 评分31
ESSH:面向预算推理的弹性选择谱混合模型
Elastic Selective Spectral Hybrids for Train-Once, Export-Many Budgeted Inference
AI 导读
提出弹性选择谱混合模型ESSH,通过输入依赖门控实现可截断的通道,支持单训多导。在1.53B配置下,B300上单token解码耗时1.37 ms。较Mamba-2/3提速2.14-2.80倍,较Transformer++提速3.03倍。
来源:arXiv · ML · arxiv.org