跳到正文
arXiv · NLP· Mengze Hong, Ziwei Shang, Di Liang, Zijian Li, Liang Zhu, Hongyu Shan, Robin Zhou, Minlong Peng, Zhiqiang Kou, Jia Wang, Di Jiang, Chen Jason Zhang·· 17 天前AI 评分36

Omni-Life:评测日常生活中全模态实时 AI 助手的基准

Omni-Life: Benchmarking Omnimodal Real-Time AI Assistants in People's Daily Lives

AI 导读

Omni-Life 基准测试了 12 种主流全模态实时 AI 模型在 400 个视频中的表现。 在需要协助的 290 个视频中,模型完全处理正确的比例最高仅为 4.48%,显示现有模型难以提供可靠帮助。 增加任务提醒可将召回率提升 17.12 个百分点,但每分钟约增加 4.6 个多余响应。

来源:arXiv · NLP · arxiv.org