跳到正文
Hacker News LLM· bofininspire·· 1 天前AI 评分58

BenchAudit:审计LLM基准测试的泄露、数据复用与执行环境缺陷

BenchAudit – Auditing LLM benchmarks for leaks, data reuse, and harness gaps

AI 导读

BenchAudit 是一个审计 LLM 基准测试完整性的工具,通过评估测试数据隐私保护、内容新旧与来源、任务刷新频率及模型运行隔离度,将基准划分为 Tier S 至 D 的完整性等级。其界面提供各等级基准的横向对比、随时间推移的完整性衰减曲线以及领域污染分布,帮助用户识别容易因数据泄露或复用而失效的公开数据集,并筛选出仍在更新且隔离良好的可靠评测。

来源:Hacker News LLM · benchaudit.org