arXiv · AI· Hoang Nguyen, Sidharth Surapaneni, Akshay Kalkunte, Jash Mehta, Aman Tiwari, Oluwanifemi Bamgbose, Khyati Mahajan, Jash Shah, Shruthan Radhakrishna, Sathwik Tejaswi Madhusudhan, Vikas Yadav, Sai Rajeswar·· 4 小时前AI 评分32
AU-Harness：用于音频大语言模型高效统一评估的开源工具包
AU-Harness: An Open-Source Toolkit for Efficient and Unified Evaluation of AUdio-LLMs
AI 导读
开源工具包 AU-Harness 解决音频大语言模型评估效率低与支持不足的问题，将评估处理时间减少 77%。 其提供标准化评估协议和灵活配置，支持多轮对话动态分析，使大规模系统评估成为可能。 该框架推进了音频大语言模型的系统性开发，并揭示了现有模型在音频推理能力上的局限。
来源：arXiv · AI · arxiv.org