arXiv · NLP· Shreeyans Arora, Utsav Avaiya, Zera Lyngkhoi, Hem Gosalia, Ram Mohan Rao Kadiyala, Vinay Kumar Sankarapu, Pratinav Seth·· 8 小时前AI 评分24
AuditKIT: 用于评估、评判和比较大型语言模型及智能体系统的统一评测框架
AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
AI 导读
AuditKIT 是一个源代码可获取的评测库，将基准准确率、裁判评估、运行时性能等记录在统一结果表示中。它通过方向感知指标契约和配置指纹，解决接口差异和指标语义问题，支持智能体的工具调用匹配和检索增强生成的证据检查。该框架在七个案例研究中展示了不同指标选择如何改变评估结果。
来源：arXiv · NLP · arxiv.org