跳到正文
arXiv · AI· Sam Kouteili, William Liang, Keeran Murray, Adriana Zhou, Ramesh Viswanathan, Scott Shapiro, Ruzica Piskac·· 9 小时前AI 评分20

Deogen:用于政策推理的自动基准生成器

Deogen: Automatic Benchmark Generation for Reasoning over Policies

AI 导读

该论文提出Deogen,一个可扩展、自动化的政策义务推理(deontic reasoning)基准生成器。通过将政策规则自动形式化为一阶逻辑并构建决策树,Deogen能组合式地生成基准条目。 评估显示,前沿模型在信息充分时的正确率为89-92%;但在信息不足需拒答的条目上,即使有明确指示,正确率也降至22-40%。

来源:arXiv · AI · arxiv.org