arXiv · AI· Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang·· 2026-10-16AI 评分38
ELLSA 2:端到端全双工对话模型实现语音、表情与手势的联合优化
Full-Duplex Interaction with Speech, Expressions and Gestures
AI 导读
ELLSA 2 是一款端到端全双工对话模型,联合优化语音交互与流式手势表情生成,在对话感知手势指标上优于级联基线。 模型采用自回归分块合成器结合预训练声学特征,并通过上下文语义调用与模板指导将对话理解转化为语义手势。 该研究将对话建模从单纯的口语回复推进至协调的多模态交互。
来源:arXiv · AI · arxiv.org