跳到正文
热点事件持续更新

双轴政策蕴含基准DAPE发布

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

研究团队提出双轴政策蕴含基准(DAPE),用于评估政策指令对同一领域的延续、扩大、收窄或逆转。基准包含1000个指令对及标注协议。 在零样本测试中,14个开源模型和4个前沿API模型表现不佳,最优前沿模型的Cohen's kappa仅为0.29。 研究通过微调Qwen3-14B将kappa提升至0.524,接近人类上限,并应用于中国AI政策分析。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · NLP
    双轴政策蕴含基准:用于政策变化推理的评估框架

    研究提出双轴政策蕴含基准(DAPE),用于评估政策指令对同一领域的延续、扩大、收窄或逆转。 基准包含1000个指令对及标注协议。14个开源模型和4个前沿API模型在零样本下表现不佳,最优前沿模型Cohen's kappa为0.29。 微调Qwen3-14B将kappa提升至0.524,接近人类上限,并应用于中国AI政策分析。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。