跳到正文
arXiv · AI· Jie Jin, Ziyin Ma, Min Yin, Jinyu Chen, Haigang Song, Zhikun Pang, Xiaowen Zhang·· 2026-10-05AI 评分41

DuplexJev 如何利用冻结 LLM 实现批量语音决策

Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript

AI 导读

DuplexJev 将 ASR 编码器隐藏状态通过连接器传入冻结 LLM,将语音问题转化为单 token 分布进行批量决策,8 张 GPU 约 0.1 秒可处理 80 个决策。该模型配合交叉注意力连接器时,说话人性别与情绪识别准确率均达 90%,语音问答准确率保持在 82%。

来源:arXiv · AI · arxiv.org