跳到正文
arXiv · AI· Jianing Yin, Ziyi Chen, Hao Wang, Yiyou Sun, Zijian Jin, Dawn Song, Daoan Zhang·· 29 天前AI 评分33

VerifierBench:LLM 智能体生成可执行验证器的基准测试

VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents

AI 导读

VerifierBench 基准测试显示,19 个模型在生成可执行验证器时归一化平衡准确率介于 10.6 至 62.1 之间。该基准包含 222 个任务及 4,993 个隐藏测试用例,验证器更可靠地拒绝无效解,但常因过度限制导致有效解被拒。

来源:arXiv · AI · arxiv.org