跳到正文
arXiv · AI· Yinsong Yan, Ling Wang, Yuxuan Wang, Yifan Yang, Ruiyang Xu, Junming Lin, Qi Chen, Meng Gao, Minghao Han, Yunfei Chu, Qize Yang, Xize Cheng, Jin Xu, Jibin Wu·· 24 天前AI 评分23

Omni-InteractScope:评估连续全模态流中的主动与智能体交互基准

Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams

AI 导读

Omni-InteractScope 是包含 1,479 个人工标注交互的基准,覆盖八个任务组,用于测试 Omni-LLM 在连续视听流中的主动响应能力。 在 12 个被评估模型中,准时工具调用率最高仅 40%,且 9 个模型未能完整覆盖 26 个指导序列。 研究揭示了当前模型在及时行动、无查询提醒及全流程覆盖方面的关键局限。

来源:arXiv · AI · arxiv.org