跳到正文
arXiv · AI· Shreya Sajid, Anna Vettoruzzo, Joaquin Vanschoren·· 2026-10-12AI 评分35

AudioTETRIS:利用过渡重要性信号实现高效音频大语言模型的 Token 消除

AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

AI 导读

AudioTETRIS 是一个免训练框架,利用音频编码器几何特征作为声学先验,在 LLM 解码器中计算融合得分以进行 Token 压缩。 该框架在 Qwen2-Audio-7B 等模型上,仅保留 25% 的音频 Token 即可维持接近未压缩的性能,且在中等压缩率下匹敌或超越全 Token 精度。

来源:arXiv · AI · arxiv.org