arXiv · NLP· Heeseung Kim·· 2026-10-09AI 评分29
EgoVoice:基于自我中心多模态流的主动语音助手框架
EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams
AI 导读
EgoVoice 提出了一种训练和评估主动自我中心语音助手的框架,利用 HoloAssist 视频构建数据,通过微调全模态 LLM 和直接偏好优化,显著提升了干预时机和内容相关性。 该研究使用源分离和语音重合成技术生成干净音频流,使模型能自主决定何时说话。 实验证明 EgoVoice 优于零样本基础模型,并被 EMNLP 2026 主会接受。
来源:arXiv · NLP · arxiv.org