arXiv · NLP· Jeongsoo Choi, Junseok Ahn, Joon Son Chung·· 5 小时前AI 评分22
DIAL-S2ST：学习实时语音到语音翻译中的延迟控制
DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation
AI 导读
提出后训练方法 DIAL-S2ST，通过自蒸馏和 LoRA 适配器实现实时语音到语音翻译的推理延迟控制。 该方法利用 Hibiki 模型和法英翻译任务，仅需 10 小时源语言语音即可实现质量-延迟权衡的灵活调整。 为无配对目标数据或奖励计算的场景提供了监督信号，使发射时机更早期且可控。
来源：arXiv · NLP · arxiv.org