arXiv · AI· Xiaofei Sun, Peng Wang, Huayao Liu, Xiaoxiao Xu, Jun Song, Deqing Li, Lin Qu·· 8 小时前AI 评分25
Omni-Encoder：跨图像、视频、音频及视听模态的共享 SigLIP-2 多模态编码器
When Does Sharing Work? Scaling a Shared SigLIP2 Across Image, Video, Audio, and Audio-Visual Representations
AI 导读
提出 Omni-Encoder，通过单个 SigLIP-2 Vision Transformer 在完全共享参数下联合优化图像、视频、音频及视听输入。 在 16 个基准测试中，该框架在全部四个模态上取得具有竞争力的结果，且联合训练优于各模态独立训练。代码和模型将公开发布。
来源：arXiv · AI · arxiv.org