双轴政策蕴含基准DAPE发布
热点事件持续更新
双轴政策蕴含基准DAPE发布
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究团队提出双轴政策蕴含基准(DAPE),用于评估政策指令对同一领域的延续、扩大、收窄或逆转。基准包含1000个指令对及标注协议。 在零样本测试中,14个开源模型和4个前沿API模型表现不佳,最优前沿模型的Cohen's kappa仅为0.29。 研究通过微调Qwen3-14B将kappa提升至0.524,接近人类上限,并应用于中国AI政策分析。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
双轴政策蕴含基准:用于政策变化推理的评估框架报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · NLP双轴政策蕴含基准:用于政策变化推理的评估框架
研究提出双轴政策蕴含基准(DAPE),用于评估政策指令对同一领域的延续、扩大、收窄或逆转。 基准包含1000个指令对及标注协议。14个开源模型和4个前沿API模型在零样本下表现不佳,最优前沿模型Cohen's kappa为0.29。 微调Qwen3-14B将kappa提升至0.524,接近人类上限,并应用于中国AI政策分析。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。