跳到正文
arXiv · AI· Ro Encarnaci\'on, Tina Behzad, Emma Lurie, Dana\'e Metaxa·· 2026-10-12AI 评分48

当前 AI 基准测试遗漏维度:ChatGPT 模态、搜索、引用与安全评估研究

What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)

AI 导读

针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。

来源:arXiv · AI · arxiv.org