跳到正文
热点事件持续更新

研究证实开放权重模型在Schema最小计数下误报率达55.4%

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

一项预注册研究测试了8个开放权重模型在558份真实文档上的表现,发现当schema设定未强制的最小计数k时,模型倾向于填充列表。结果显示,设定schema最小计数使列表长度超过真实数量的比例从34.5%提升至55.4%。研究指出,约一半的填充项直接来自原文,常规检查难以发现。研究者发布了代码和运行记录,并证实常见修复方法效果有限,重新询问验证错误反而使填充问题更常见。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · NLP
    开放权重模型在提取列表中填充至 schema 最小计数:预注册研究揭示 34.5% 至 55.4% 的误报率

    一项预注册研究测试了 8 个开放权重模型在 558 份真实文档上的表现,发现当 schema 设定未强制的最小计数 k 时,模型倾向于填充列表。 显示 schema 中的最小计数会将列表长度超过真实数量的比例从 34.5% 提升至 55.4%,且约一半的填充项来自原文,难以通过常规检查发现。 研究者发布了代码和运行记录,指出常见修复方法效果有限,重新询问验证错误反而使填充更常见。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。