arXiv · NLP· Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN·· 16 小时前AI 评分36
文本到语音：用于评估工具调用LLM智能体的可复现与可验证框架
From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
AI 导读
提出一种将文本基准转化为受控音频工具调用评估的框架，通过TTS、说话人变化和背景噪声生成配对数据，保留原始标注。 在7个全模态模型评估中，Gemini-3.1-Flash-Live在Confetti得70.4分最高，GPT-Realtime-1.5在When2Call得71.9分最佳，文本转语音性能差距介于1.8至4.8分之间。
来源：arXiv · NLP · arxiv.org