跳到正文
arXiv · NLP· Charles Chang (Duke Kunshan University), Yuen Yuen Ang (Johns Hopkins University), Bolun Sun (Northwestern University)·· 8 小时前AI 评分29

双轴政策蕴含基准:用于政策变化推理的评估框架

Dual-Axis Policy Entailment: A Benchmark for Policy-Change Reasoning

AI 导读

研究提出双轴政策蕴含基准(DAPE),用于评估政策指令对同一领域的延续、扩大、收窄或逆转。 基准包含1000个指令对及标注协议。14个开源模型和4个前沿API模型在零样本下表现不佳,最优前沿模型Cohen's kappa为0.29。 微调Qwen3-14B将kappa提升至0.524,接近人类上限,并应用于中国AI政策分析。

来源:arXiv · NLP · arxiv.org