arXiv · AI· Sam Kouteili, William Liang, Keeran Murray, Adriana Zhou, Ramesh Viswanathan, Scott Shapiro, Ruzica Piskac·· 9 小时前AI 评分20
Deogen:用于政策推理的自动基准生成器
Deogen: Automatic Benchmark Generation for Reasoning over Policies
AI 导读
该论文提出Deogen,一个可扩展、自动化的政策义务推理(deontic reasoning)基准生成器。通过将政策规则自动形式化为一阶逻辑并构建决策树,Deogen能组合式地生成基准条目。 评估显示,前沿模型在信息充分时的正确率为89-92%;但在信息不足需拒答的条目上,即使有明确指示,正确率也降至22-40%。
来源:arXiv · AI · arxiv.org