AVLLM内部视听信息流动与丢弃机制研究发布

2026年11月4日，Wish Suharitdamrong等人在arXiv cs.AI领域发表研究论文，揭示音视频大语言模型（AVLLMs）内部的信息流机制。该研究在Qwen2.5-Omni和Video-SALMONN2 Plus（3B/7B规模）模型上展开。 研究发现，视听视频处理遵循顺序信息流，而交错项目则采用并行流。验证结果表明，音视频及其他token的信息一旦传输至LLM层，即可被直接丢弃。 这种信息丢弃机制对模型预测的影响极小，甚至略有提升，从而支持了更高效的推理策略。这一发现为优化多模态大模型的推理效率提供了新的技术路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。