TextPro-SLM最小化语音与文本模态差距

TextPro-SLM是一种面向语音大语言模型（SLM）的方法，由Wenqian Cui等人提出，旨在从输入端最小化语音与文本之间的模态差距。其核心思想是让语音输入在模型内部更接近于具有韵律感知能力的文本LLM所处理的输入形式，从而提升跨模态一致性。 该方法在3B和7B参数规模下展现出领先的模态差距最小化效果，且仅需约1000小时的LLM训练音频即可在副语言理解任务中保持强劲性能，显著降低了数据依赖。 相关代码已公开，论文被NeurIPS 2026接收，标志着该方法在学术界获得认可，具备较高的可复现性与影响力。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。