arXiv · AI· Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito·· 8 小时前AI 评分31
多模态LLM中听觉与视觉感知的信息流：从感知到决策
From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs
AI 导读
研究揭示了视听大语言模型（AVLLMs）内部音频和视觉信号的路由机制。在Qwen2.5-Omni和Video-SALMONN2 Plus（3B/7B规模）上，发现视听视频遵循顺序信息流，而交错项目则转向并行流。 验证发现，一旦音视频及其他token的信息传输至LLM，即可被丢弃。此举对模型预测影响极小，甚至略有提升，从而支持了更高效的推理。
来源：arXiv · AI · arxiv.org