跳到正文
arXiv · ML· Sathwik Narkedimilli, Rakshit Verma, Rahul Soni, Ankit Kushwaha, Balaji Ganesan, Kaustabha Ray, Sunil Saumya, Pratibha Moogi·· 7 天前AI 评分31

ORBIT:评估 LLM 在 IT 运维推理能力上的证据导向基准

Orbit: An Evidence-Grounded Benchmark for Evaluating LLMs on IT Operations Reasoning

AI 导读

ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。

来源:arXiv · ML · arxiv.org