arXiv · AI· Shreya Sajid, Anna Vettoruzzo, Joaquin Vanschoren·· 2026-10-12AI 评分35
AudioTETRIS:利用过渡重要性信号实现高效音频大语言模型的 Token 消除
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
AI 导读
AudioTETRIS 是一个免训练框架,利用音频编码器几何特征作为声学先验,在 LLM 解码器中计算融合得分以进行 Token 压缩。 该框架在 Qwen2-Audio-7B 等模型上,仅保留 25% 的音频 Token 即可维持接近未压缩的性能,且在中等压缩率下匹敌或超越全 Token 精度。
来源:arXiv · AI · arxiv.org