热点事件持续更新

研究者发布共享多模态编码器Omni-Encoder

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Xiaofei Sun等研究者提出Omni-Encoder，这是一种通用的多模态编码器。该框架基于单个SigLIP-2视觉Transformer，通过完全共享参数的方式，联合处理图像、视频、音频及视听四种模态的输入。在性能方面，该模型在16个基准测试中表现具有竞争力，且证明了联合训练的效果优于各模态独立训练的情况。研究团队表示，相关代码和模型将会公开发布。

AI 根据报道生成 · 7 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

13:00
arXiv · AI
Omni-Encoder：跨图像、视频、音频及视听模态的共享 SigLIP-2 多模态编码器
提出 Omni-Encoder，通过单个 SigLIP-2 Vision Transformer 在完全共享参数下联合优化图像、视频、音频及视听输入。在 16 个基准测试中，该框架在全部四个模态上取得具有竞争力的结果，且联合训练优于各模态独立训练。代码和模型将公开发布。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月5日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。