跳到正文
arXiv · NLP· JunYeong Park, Shijing Wang, Seonwook Park, Michael Stengel, Shalini De Mello, Sang-Il Choi, Hyung Jin Chang·· 2 天前AI 评分21

Nunchi 利用对话线索辅助多场景注视识别

Nunchi: Ears Help Eyes in Multi-Party Conversations

AI 导读

研究团队提出 Nunchi 框架,结合 VLM 与对话线索,将多场景注视识别准确率提升 4.8 个百分点。 该研究构建了 SORBET 基准(3,340 样本,1,578 片段),验证了语音与转录在解决注视几何歧义上的有效性,且性能增益在三个 VLM 中保持稳定。

来源:arXiv · NLP · arxiv.org